[논문 리뷰] Multiple Networks are More Efficient than One: Fast and Accurate Models via Ensembles and Cascades.

Xiaofang Wang, Dan Kondratyuk외 3명|arXiv (Cornell University)|2020. 12. 03.

Advanced Neural Network Applications참고 문헌 7인용 수 7

한 줄 요약

이 논문은 아키텍처 탐색이 필요 없이 정확도와 효율성 면에서 단일 신경망을 능가하는 앙상블 및 캐스케이드 모델을 제안한다. 병렬(앙상블) 또는 순차적(캐스케이드)으로 여러 모델을 조합함으로써, 특히 고계산량 환경에서 큰 독립 모델보다 더 적은 계산량으로 더 높은 정확도를 달성한다.

ABSTRACT

Recent work on efficient neural network architectures focuses on discovering a solitary network that can achieve superior computational efficiency and accuracy. While this paradigm has yielded impressive results, the search for novel architectures usually requires significant computational resources. In this work, we demonstrate a simple complementary paradigm to obtain efficient and accurate models that requires no architectural tuning. We show that committee-based models, i.e., ensembles or cascades of models, can easily obtain higher accuracy with less computation when compared to a single model. We extensively investigate the benefits of committee-based models on various vision tasks and architecture families. Our results suggest that in the large computation regime, model ensembles are a more cost-effective way to improve accuracy than using a large solitary model. We also find that the computational cost of an ensemble can be significantly reduced by converting them to cascades, while often retaining the original accuracy of the full ensemble.

연구 동기 및 목표

• 위원회 기반 모델(앙상블 또는 캐스케이드)이 단일 신경망보다 더 나은 효율-정확도 트레이드오프를 달성할 수 있는지 탐색한다.
• 해당 위원회 모델이 광범위한 아키텍처 탐색 및 하이퍼파라미터 튜닝의 필요성을 줄일 수 있는지 조사한다.
• 다양한 비전 작업 및 아키텍처 패밀리에서 앙상블과 캐스케이드의 계산 비용과 정확도를 평가한다.
• 캐스케이드 모델이 전체 앙상블 수준의 정확도를 유지하면서 추론 비용을 줄일 수 있는지 확인한다.
• 고계산량 환경에서 단일 대규모 모델 대비 위원회 모델의 비용 효율성을 평가한다.

제안 방법

• 동일한 아키텍처 패밀리에 속하는 여러 사전 훈련된 모델의 예측을 조합하여 모델 앙상블을 구성한다.
• 경량 모델을 사용해 쉬운 샘플을 걸러내고, 어려운 샘플만 무거운 모델에 전달함으로써 모델 캐스케이드를 구현한다.
• 차별 가능한 라우팅 메커니즘을 사용해 종합적으로 엔드 투 엔드로 캐스케이드를 훈련함으로써 주 모델과 보조 모델을 동시에 최적화한다.
• 다양한 비전 작업(예: 이미지 분류, 객체 검출)과 아키텍처 패밀리(예: ResNets, EfficientNets)에서 성능을 평가한다.
• 유사한 FLOPs를 가진 단일 모델과 비교해 앙상블 및 캐스케이드의 추론 속도, FLOPs, 정확도를 비교한다.
• 지식 증류와 모델 프루닝을 활용해 정확도를 유지하면서도 캐스케이드의 계산 부담을 추가로 줄인다.

실험 결과

연구 질문

• RQ1 위원회 기반 모델(앙상블 또는 캐스케이드)이 유사하거나 더 낮은 FLOPs로 단일 모델보다 더 높은 정확도를 달성할 수 있는가?
• RQ2 계산 예산이 클 경우 앙상블의 정확도 향상 효과가 지속되는가? 또한 단일 모델을 확장한 것과 비교해 보다 낫게 나타나는가?
• RQ3 캐스케이드가 앙상블의 추론 비용을 어느 정도 줄일 수 있으며, 정확도는 유지되는가?
• RQ4 캐스케이드의 성능은 기본 모델의 선택에 따라 달라지며, 모델의 이질성은 결과에 어떤 영향을 미치는가?
• RQ5 고계산량 환경에서 앙상블 접근 방식이 단일 대규모 모델을 훈련하는 것보다 비용 효율적인가?

주요 결과

• 앙상블은 고FLOP 환경에서 특히 정확도를 높이면서도 계산 비용을 유지하거나 감소시켜 단일 모델보다 항상 뛰어나다.
• 캐스케이드는 전체 앙상블의 추론 비용을 최대 50%까지 줄일 수 있으며, 원래 앙상블의 정확도를 그대로 유지한다.
• 캐스케이드의 정확도는 일반적으로 유사한 FLOPs를 가진 단일 대규모 모델의 정확도와 동일하거나 이를 초월한다.
• 계산 자원이 풍부할 경우 앙상블의 성능 향상 효과는 단일 모델 확장보다 더 비용 효율적이다.
• 캐스케이드는 캐스케이드의 첫 번째 모델이 충분히 정확해 쉽게 분류 가능한 예측을 걸러낼 수 있을 때 특히 효과적이다.
• 이 접근 방식은 아키텍처 탐색이나 하이퍼파라미터 튜닝이 필요 없어, 맞춤형 아키텍처 설계의 즉각적인 대안이 된다.