[논문 리뷰] Adversarial-Based Knowledge Distillation for Multi-Model Ensemble and Noisy Data Refinement

Zhiqiang Shen, Zhankui He외 5명|arXiv (Cornell University)|2019. 08. 22.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 다중 모델 앙상블을 단일 학생 네트워크로 압축하면서 노이즈가 있는 레이블을 개선하는 새로운 적대적 기반 지식 증류 프레임워크인 MEAL을 제안한다. 다양한 교사 모델의 소프트 레이블을 활용하고, 학생 특징을 교사 분포와 일치시키기 위해 적대적 훈련을 적용함으로써, MEAL은 최신 기술 수준(SOTA)의 성능을 달성한다. ImageNet에서 원본 ResNet-50보다 top-1 오차가 2.06% 향상되었고, iMaterialist에서 top-3 정확도가 1.15% 향상되었으며, 테스트 시 단일 전방전파를 통해 빠른 추론이 가능하다.

ABSTRACT

Generic Image recognition is a fundamental and fairly important visual problem in computer vision. One of the major challenges of this task lies in the fact that single image usually has multiple objects inside while the labels are still one-hot, another one is noisy and sometimes missing labels when annotated by humans. In this paper, we focus on tackling these challenges accompanying with two different image recognition problems: multi-model ensemble and noisy data recognition with a unified framework. As is well-known, usually the best performing deep neural models are ensembles of multiple base-level networks, as it can mitigate the variation or noise containing in the dataset. Unfortunately, the space required to store these many networks, and the time required to execute them at runtime, prohibit their use in applications where test sets are large (e.g., ImageNet). In this paper, we present a method for compressing large, complex trained ensembles into a single network, where the knowledge from a variety of trained deep neural networks (DNNs) is distilled and transferred to a single DNN. In order to distill diverse knowledge from different trained (teacher) models, we propose to use adversarial-based learning strategy where we define a block-wise training loss to guide and optimize the predefined student network to recover the knowledge in teacher models, and to promote the discriminator network to distinguish teacher vs. student features simultaneously. Extensive experiments on CIFAR-10/100, SVHN, ImageNet and iMaterialist Challenge Dataset demonstrate the effectiveness of our MEAL method. On ImageNet, our ResNet-50 based MEAL achieves top-1/5 21.79%/5.99% val error, which outperforms the original model by 2.06%/1.14%. On iMaterialist Challenge Dataset, our MEAL obtains a remarkable improvement of top-3 1.15% (official evaluation metric) on a strong baseline model of ResNet-101.

연구 동기 및 목표

• 실세계 응용에서 다중 모델 앙상블의 높은 계산 및 메모리 비용을 해결하기 위해.
• 노이즈가 있거나 모호한 주석이 있는 상황에서 이미지 인식의 강건성과 정확도를 향상시키기 위해.
• 다양한 사전 훈련된 교사 네트워크의 지식을 단일 효율적인 학생 모델로 압축하기 위해.
• 다양한 아키텍처에서 유래한 소프트 레이블 분포를 활용하여 일항 레이블보다 richer한 지도를 제공하기 위해.
• 모델 일반화 능력을 향상시키고 다중 객체 및 노이즈 레이블 문제를 동시에 다룰 수 있는 통합 프레임워크를 개발하기 위해.

제안 방법

• 이 방법은 다수의 사전 훈련된 교사 모델의 소프트 레이블 출력을 모방하도록 훈련된 학생 네트워크를 사용하며, 일항 레이블 대신 다양한 정보를 담은 분포로 대체한다.
• 블록 단위의 적대적 훈련 전략을 도입하여, 구분자(discriminator)가 교사 및 학생 네트워크의 특징을 구분하도록 하여 특징 수준의 일치를 강제한다.
• 학습된 손실은 소프트 레이블에서 유도된 지식 증류 손실과 구분자에서 유도된 적대적 손실을 조합하여 특징 수준의 일반화 능력을 향상시킨다.
• 반복적인 개선을 위해, 업데이트된 교사 모델로 학생을 재훈련하여 점차적으로 지도 품질을 향상시킨다.
• 다양한 아키텍처(예: ResNet, DenseNet, VGG)를 지원하여 다각도이고 정보가 풍부한 지도 신호를 생성하는 엔드 투 엔드 훈련을 가능하게 한다.
• 테스트 시 앙상블 추론이 필요 없도록 단일 전방전파를 통해 빠른 추론을 구현한다.

실험 결과

연구 질문

• RQ1 적대적 지식 증류가 성능을 저하시키지 않고 다중 모델 앙상블을 단일 효율적인 학생 네트워크로 효과적으로 압축할 수 있는가?
• RQ2 다양한 교사 모델에서 유래한 소프트 레이블 분포가 노이즈가 많거나 다중 객체 주석에 대해 강건성을 향상시킬 수 있는가?
• RQ3 교사와 학생 네트워크 간의 적대적 특징 매칭이 기존 증류 방식보다 더 나은 일반화를 이끌 수 있는가?
• RQ4 교사-학생 쌍의 반복적 재훈련이 노이즈가 많은 데이터셋에서 모델 정확도와 강건성에 어떤 영향을 미치는가?
• RQ5 다른 아키텍처에서 유래한 지도의 다양성이 학생 모델의 성능 향상에 얼마나 기여하는가?

주요 결과

• ImageNet에서 ResNet-50 기반 MEAL은 top-1 검증 오차 21.79%와 top-5 오차 5.99%를 기록했으며, 원본 모델보다 각각 2.06%와 1.14% 향상되었다.
• iMaterialist Products 데이터셋에서 MEAL은 강력한 ResNet-101 기반 모델 대비 공식 top-3 오차를 1.15% 향상시켜 복잡한 실세계 데이터에서의 효과성을 입증했다.
• 데이터 증강(CutMix 및 코시 학습률)을 적용한 MEAL은 노이즈가 있는 CIFAR-10 데이터셋에서 테스트 오차를 6.89%까지 감소시켜 과적합에 대한 강건성을 보였다.
• 반복적 재훈련은 점진적으로 성능을 향상시켰으며, 첫 번째 라운드에서 가장 큰 성과를 기록하여 지도 신호의 개선이 효과적임을 확인했다.
• CIFAR-10에서 MEAL은 4개의 교사 모델로 최적의 성능를 달성했고, 증가된 예산 하에서 약 500 에포크에서 수렴함을 확인했다.
• 소프트맥스 출력의 시각화 결과, 약한 모델(SqueezeNet, VGG)은 강한 모델(ResNet, DenseNet)보다 더 다양한 레이블 분포를 생성하는 것으로 나타나, 지도의 다양성이 검증되었다.