[논문 리뷰] Data-Free Knowledge Amalgamation via Group-Stack Dual-GAN

Jingwen Ye, Yixin Ji외 3명|arXiv (Cornell University)|2020. 03. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 40인용 수 6

한 줄 요약

이 논문은 실제 학습 데이터나 애너테이션 없이 다중 작업 학생 네트워크(TargetNet)를 훈련시키기 위해 그룹스택 듀얼-GAN을 사용하는 데이터 프리 지식 통합 프레임워크를 제안한다. 두 개의 듀얼 생성기—하나는 이미지를 합성하고 다른 하나는 레이블 벡터를 생성하는 것—를 활용함으로써, 실제 데이터에 접근할 수 없음에도 불구하고 다중 레이블 분류 벤치마크에서 경쟁적인 성능을 달성한다. 이는 일부 완전 지도 학습 방법보다도 뛰어난 성능을 내는 데 기여한다.

ABSTRACT

Recent advances in deep learning have provided procedures for learning one network to amalgamate multiple streams of knowledge from the pre-trained Convolutional Neural Network (CNN) models, thus reduce the annotation cost. However, almost all existing methods demand massive training data, which may be unavailable due to privacy or transmission issues. In this paper, we propose a data-free knowledge amalgamate strategy to craft a well-behaved multi-task student network from multiple single/multi-task teachers. The main idea is to construct the group-stack generative adversarial networks (GANs) which have two dual generators. First one generator is trained to collect the knowledge by reconstructing the images approximating the original dataset utilized for pre-training the teachers. Then a dual generator is trained by taking the output from the former generator as input. Finally we treat the dual part generator as the target network and regroup it. As demonstrated on several benchmarks of multi-label classification, the proposed method without any training data achieves the surprisingly competitive results, even compared with some full-supervised methods.

연구 동기 및 목표

• 개인정보나 접근 제한으로 인해 실제 학습 데이터나 애너테이션이 확보되지 않을 경우 맞춤형 다중 작업 네트워크를 훈련시키는 데 도전하는 것.
• 실제 입력 데이터가 전혀 필요 없이 다수의 사전 훈련된 교사 모델에서 지식을 통합할 수 있는 지식 통합 프레임워크를 개발하는 것.
• 실제로 존재하지 않는 데이터를 기반으로도 현실적인 이미지와 신뢰할 수 있는 중간 특징을 합성할 수 있는 GAN 기반 아키텍처를 설계하여, 컴act하고 높은 성능을 보이는 학생 네트워크를 훈련시키는 것.
• 데이터 프리 훈련이 다중 레이블 분류 작업에서 완전 지도 학습 방법과 비교할 만한 성능을 달성할 수 있음을 입증하는 것.

제안 방법

• 주 생성기와 듀얼 생성기로 구성된 그룹스택 듀얼-GAN 아키텍처를 제안하며, 생성기는 이미지를 합성하고 듀얼 생성기는 레이블 벡터를 생성한다.
• 생성기는 적대적 손실과 특징 재구성 손실의 조합을 사용하여 교사 모델이 사전 훈련된 원본 데이터셋을 근사하는 이미지를 재구성하도록 훈련된다.
• 듀얼 생성기는 생성된 이미지와 교사 네트워크의 중간 특징에 조건이 되어, 실제 데이터 없이도 다중 작업 예측을 학습할 수 있다.
• 모드 붕괴를 방지하고 레이블 다양성을 향상시키기 위해 이산 손실($\mathcal{L}_{\text{dis}}$)을 도입한다.
• 훈련 후 듀얼 생성기에서 최종 목표 네트워크(TargetNet)를 추출함으로써, 모든 교사 모델의 지식을 습득할 수 있도록 보장한다.
• 생성기와 듀얼 생성기 간의 정보 흐름을 제어하기 위해 학습 가능한 연결($\lambda_{\text{in}}^1, \lambda_{\text{in}}^2$)을 갖는 다중 스트림 입력 메커니즘을 사용하여 특징 무결성을 향상시킨다.

실험 결과

연구 질문

• RQ1 실제 학습 데이터나 애너테이션이 전혀 없이도 사전 훈련된 다수의 교사 모델에서 지식을 효과적으로 하나의 학생 네트워크에 통합할 수 있는가?
• RQ2 지식 전이를 위해 실질적인 이미지와 의미 있는 중간 특징을 동시에 합성할 수 있는 생성 모델을 어떻게 설계할 수 있는가?
• RQ3 데이터 프리 환경에서 신뢰할 수 있는 특징 생성과 다중 작업 예측을 보장하기 위해 필수적인 아키텍처 구성 요소는 무엇인가?
• RQ4 이산 손실($\mathcal{L}_{\text{dis}}$)의 포함이 실제 데이터가 없는 조건에서 생성된 레이블 분포의 다양성과 품질에 어떤 영향을 미치는가?
• RQ5 데이터 프리 지식 통합 프레임워크가 다중 레이블 분류 벤치마크에서 완전 지도 학습과 비교해 어느 정도의 성능을 달성할 수 있는가?

주요 결과

• VOC2007 데이터셋에서 제안된 데이터 프리 지식 통합 방법은 평균 정밀도(mAP) 73.6%를 달성하여 동일한 데이터 프리 조건에서 54.9%에 그치는 베이스라인 DAFL 방법을 능가한다.
• 더 복잡한 MS-COCO 데이터셋에서는 전체 F1 스코어 68.2%를 기록하여 DAFL 프레임워크(36.6 F1)를 능가하고, RLSD+ft-RPN과 같은 완전 지도 학습 방법의 성능에 가까워진다.
• 절단 분석 결과, 두 입력 스트림을 모두 사용($\lambda_{\text{in}}^1 = 1, \lambda_{\text{in}}^2 = 1$)할 경우 최고의 성능을 보이며, mAP는 단일 스트림 구성 대비 73.6%로 상승하고, 70.2%와 59.8%로 각각 감소한다.
• 이산 손실($\mathcal{L}_{\text{dis}}$)의 추가로 생성된 예측의 레이블 분포가 더 균일하고 다양해져 일반화 성능 향상과 모드 붕괴 감소에 기여한다.
• 시각화 결과, 생성된 이미지는 인간 관찰자에게는 실제 데이터와 구분되지 않지만, 신경망에 대해 인지적으로 타당하며 고성능 학생 모델을 훈련시키기에 충분하다.
• 이 방법은 실제 데이터 없이도 다수의 교사 모델에서 지식을 효과적으로 한 학생 네트워크로 전이할 수 있음을 입증하며, 데이터 프리 지식 통합 분야에서 최신 기술 수준의 성능을 달성한다.