[논문 리뷰] MEAL: Multi-Model Ensemble via Adversarial Learning

Zhiqiang Shen, Zhankui He외 1명|arXiv (Cornell University)|2018. 12. 06.

Advanced Neural Network Applications참고 문헌 38인용 수 14

한 줄 요약

MEAL는 적대적 학습을 사용하여 다수의 사전 훈련된 딥 네트워크를 하나의 학생 네트워크로 압축하는 지식 정련 프레임워크를 제안한다. 소프트 레이블과 판별기(discriminator)를 활용해 학생의 특징을 다양한 교사 모델과 정렬함으로써, MEAL는 단일 모델 추론 속도를 유지하면서도 이미지넷에서 SOTA 성능(상위-1 오차 21.79%)을 달성한다.

ABSTRACT

Often the best performing deep neural models are ensembles of multiple base-level networks. Unfortunately, the space required to store these many networks, and the time required to execute them at test-time, prohibits their use in applications where test sets are large (e.g., ImageNet). In this paper, we present a method for compressing large, complex trained ensembles into a single network, where knowledge from a variety of trained deep neural networks (DNNs) is distilled and transferred to a single DNN. In order to distill diverse knowledge from different trained (teacher) models, we propose to use adversarial-based learning strategy where we define a block-wise training loss to guide and optimize the predefined student network to recover the knowledge in teacher models, and to promote the discriminator network to distinguish teacher vs. student features simultaneously. The proposed ensemble method (MEAL) of transferring distilled knowledge with adversarial learning exhibits three important advantages: (1) the student network that learns the distilled knowledge with discriminators is optimized better than the original model; (2) fast inference is realized by a single forward pass, while the performance is even better than traditional ensembles from multi-original models; (3) the student network can learn the distilled knowledge from a teacher model that has arbitrary structures. Extensive experiments on CIFAR-10/100, SVHN and ImageNet datasets demonstrate the effectiveness of our MEAL method. On ImageNet, our ResNet-50 based MEAL achieves top-1/5 21.79%/5.99% val error, which outperforms the original model by 2.06%/1.14%. Code and models are available at: https://github.com/AaronHeee/MEAL

연구 동기 및 목표

• 기존 딥 네트워크 앙상블의 높은 추론 비용과 스토리지 요구량을 해결하기 위해.
• 다양한 사전 훈련된 교사 네트워크에서 다수의 효율적인 학생 네트워크로 지식을 압축하기 위해.
• 다양한 아키텍처에서 유래한 소프트 레이블 분포를 활용해 학생 모델의 일반화 및 강건성을 향상시키기 위해.
• 다중 모델 앙상블의 계산 오버헤드 없이 단일 프로퍼게이션을 통해 고성능 추론을 가능하게 하기 위해.
• 적대적 특징 매칭이 표준 소프트 레이블 전달을 초월해 지식 정련을 향상시킬 수 있는지 검증하기 위해.

제안 방법

• 소프트 레이블이 다수의 사전 훈련된 교사 네트워크에서 유도되며, 이는 one-hot 레이블보다 더 풍부하고 다양한 감독 정보를 제공한다.
• 블록 단위의 적대적 훈련 손실이 도입되어, 판별기가 진짜(교사)와 생성된(학생) 특징을 구분하도록 하여 학생의 특징 표현을 교사의 것과 정렬한다.
• 적대적 손실은 학생이 교사의 특징맵과 구분되지 않는 특징맵을 생성하도록 유도하여 더 나은 지식 전달을 촉진한다.
• 이 방법은 엔드 투 엔드로 미분 가능하며, 지식 정련과 적대적 특징 정렬을 동시에 최적화한다.
• 이 프레임워크는 아키텍처에 종속되지 않아 임의의 구조를 가진 교사 모델에서 단일 학생 모델로 지식 정련이 가능하다.
• 표준 교차 엔트로피 손실에 소프트 레이블을 사용하고, 추가로 특징 수준의 정렬을 향상시키기 위해 적대적 손실을 적용한다.

실험 결과

연구 질문

• RQ1 단일 학생 네트워크가 다중 모델 앙상블 수준의 성능을 달성하면서도 단일 추론 비용을 유지할 수 있는가?
• RQ2 학생과 교사 네트워크 간의 적대적 특징 매칭이 표준 소프트 레이블 정련을 초월해 지식 정련을 향상시키는가?
• RQ3 다양한 교사 아키텍처에서 유래한 소프트 레이블 분포의 다양성이 정련된 학생 모델의 성능에 미치는 영향는 어떠한가?
• RQ4 제안된 방법이 다양한 네트워크 아키텍처와 데이터셋, 특히 이미지넷과 같은 대규모 벤치마크에서 일반화 가능한가?
• RQ5 최소한의 부정확성과 중복을 최소화하면서 성능을 극대화하기 위한 최적의 훈련 예산과 앙상블 크기는 무엇인가?

주요 결과

• 이미지넷에서 ResNet-50 기반 MEAL는 상위-1 검증 오차 21.79%와 상위-5 오차 5.99%를 기록했으며, 원본 ResNet-50(23.85%/7.13%)과 전통적 앙상블(22.76%/6.49%)을 모두 초월한다.
• CIFAR-10에서 MEAL는 샤크셰이크 기반 모델의 테스트 오차를 2.86%에서 2.54%로 개선했으며, 이는 상대적 개선률 11.2%에 해당한다.
• MEAL로 훈련된 학생 네트워크는 동일한 아키텍처를 가졌음에도 불구하고 원본 모델보다 더 잘 일반화된다. 이는 적대적 특징 정렬 덕분이다.
• 추론 시 단일 프로퍼게이션을 유지하여, FLOPs와 추론 시간이 교사 모델의 수와 무관하게 일정하다.
• 다양한 교사 아키텍처(예: VGG-19 대비 ResNet-50) 간의 소프트 레이블 분포의 다양성은 더 강력한 모델 간의 다양성보다 정량적으로 높으며, 이는 다중 교사 정련의 효과성을 뒷받침한다.
• t-SNE 시각화 결과, MEAL로 훈련된 학생 네트워크는 표준 훈련 기반선 대비 더 분류 가능한 특징 임베딩을 학습하는 것으로 확인되었다.