[논문 리뷰] EnsembleNet: End-to-End Optimization of Multi-headed Models

Hanhan Li, Joe Yue-Hei Ng외 1명|arXiv (Cornell University)|2019. 05. 24.

Advanced Neural Network Applications참고 문헌 32인용 수 14

한 줄 요약

EnsembleNet는 다중 헤드 신경망을 위한 종단간(end-to-end), 단일 단계 학습 프레임워크를 제안하며, 공동 분산 손실(co-distillation loss)을 사용해 다중 예측 헤드를 동시에 최적화함으로써 크기가 유사한 단일 모델보다 뛰어난 성능을 달성한다. 이는 ImageNet, YouTube-8M, Kinetics에서 더 작은 모델로도 최신 기준 성능을 달성하며 수동 조정 없이도 가능하다.

ABSTRACT

Ensembling is a universally useful approach to boost the performance of machine learning models. However, individual models in an ensemble were traditionally trained independently in separate stages without information access about the overall ensemble. Many co-distillation approaches were proposed in order to treat model ensembling as first-class citizens. In this paper, we reveal a deeper connection between ensembling and distillation, and come up with a simpler yet more effective co-distillation architecture. On large-scale datasets including ImageNet, YouTube-8M, and Kinetics, we demonstrate a general procedure that can convert a single deep neural network to a multi-headed model that has not only a smaller size but also better performance. The model can be optimized end-to-end with our proposed co-distillation loss in a single stage without human intervention.

연구 동기 및 목표

• 기존 앙상블 학습의 비효율성과 성능 저하 문제를 해결하기 위해, 각 모델이 앙상블에 대한 인식 없이 독립적으로 학습되는 방식을 개선한다.
• 모델 앙상블에서 수동 하이퍼파라미터 조정과 별도의 학습 단계가 필요 없도록 한다.
• 모델 크기나 FLOPs를 유지하거나 감소시키면서도 단일 모델보다 더 높은 정확도를 달성한다.
• 더 단순하고 효과적인 공동 분산 손실(co-distillation loss)을 통해 앙상블과 분산 학습을 통합하며, 실제 정답에 대한 명시적 회귀가 필요하지 않다.

제안 방법

• 공유 기초 특징과 경량 예측 헤드를 가진 다중 헤드 신경망 아키텍처를 제안한다.
• 각 헤드가 실제 정답에 직접적으로 회귀하는 대신, 앙상블 출력을 예측하도록 유도하는 공동 분산 손실을 사용한다.
• 모든 헤드와 앙상블 헤드가 공동 분산 손실을 통해 동시에 최적화되는 단일 단계 학습 절차를 구현한다.
• 공동 분산 손실은 $ \mathcal{L}_{\text{co-distill}} = \sum_{i=1}^{N} \ell(\mathbf{p}_{\text{ens}}, \mathbf{p}_i) $ 로 정의되며, 여기서 $ \mathbf{p}_{\text{ens}} $ 는 앙상블 예측이고 $ \mathbf{p}_i $ 는 헤드 $ i $ 의 예측이다.
• 추론 시 앙상블 출력 $ \mathbf{p}_{\text{ens}} $ 는 모든 개별 헤드 예측의 평균으로 계산된다.
• 개별 헤드에 대한 명시적 정답 지도 학습을 피하고, 오직 앙상블에서의 지식 분산에 의존한다.

실험 결과

연구 질문

• RQ1 크기가 유사한 단일 모델보다 더 높은 성능을 내기 위해 다중 헤드 모델을 종단간 단일 단계에서 학습시킬 수 있는가?
• RQ2 공동 분산 손실이 기존 앙상블 또는 혼합 앙상블/분산 손실 구조에 비해 정확도와 효율성 측면에서 어떻게 비교되는가?
• RQ3 모델 앙상블이 단일 모델보다 작아도 여전히 정확도에서 뛰어나게 할 수 있는가?
• RQ4 앙상블과 지식 분산 사이에 이론적이고도 실증적인 연결 고리가 존재하는가? 이를 활용해 더 나은 학습을 유도할 수 있는가?
• RQ5 제안된 방법이 ImageNet, YouTube-8M, Kinetics와 같은 다양한 대규모 비전 벤치마크에 일반화 가능한가?

주요 결과

• ImageNet에서 2개의 브랜치와 $ \mu = 2 $ 를 사용한 EnsembleNet는 226M 파라미터와 410M FLOPs를 사용해 88.36%의 top-1 정확도를 달성했으며, 유사한 크기의 단일 모델을 초월했다.
• YouTube-8M에서 $ \mu = 2 $ 인 공동 분산 손실은 60.07% mAP를 기록했으며, 기준 모델 대비 0.42% 향상되었고, $ \lambda = 0 $ 버전 대비 0.1% 향상되었다.
• Kinetics에서 $ \mu = 2 $ 인 다중 헤드 S3D-G 모델은 75.9%의 top-1 정확도와 92.3%의 top-5 정확도를 달성했으며, 동일한 파라미터 수와 FLOP 수를 가진 기준 S3D-G(74.6% top-1)를 뛰어넘었다.
• 공동 분산 손실은 특히 $ \mu = 2 $ 일 때 앙상블 손실 구조보다 뚜렷이 뛰어난 성능을 보였으며, 이는 앙상블에서의 분산이 직접 지도 학습보다 더 효과적임을 시사한다.
• 모델 크기를 늘리지 않고도 모든 세 벤치마크에서 최신 기준 성능을 달성했으며, 이는 앙상블 학습이 단일 모델 학습보다 더 효율적일 수 있음을 보여준다.
• 제거 분석 결과, 런-투-런 변동이 최소한이었으며, 이는 메서드가 다양한 학습 런에 걸쳐 뛰어난 강건성을 확보하고 있음을 확인한다.