[논문 리뷰] Wisdom of Committees: An Overlooked Approach To Faster and More Accurate Models

Xiaofang Wang, Dan Kondratyuk외 4명|arXiv (Cornell University)|2020. 12. 03.

Advanced Neural Network Applications참고 문헌 40인용 수 21

한 줄 요약

이 논문은 간단한 위원회 기반 모델—사전 훈련된 독립 모델들을 앙상블 또는 캐스케이드로 조합하는 방식—이 상태의 기술(SoTA) 정확도를 도달하거나 초월하면서도 FLOPs를 최대 5.4배까지 감소시킬 수 있음을 보여준다. 이는 이미지 분류, 영상 분류, 세분화 작업 전반에서 고도로 최적화된 신경망 아키텍처 탐색(NAS) 방법과 수작업으로 설계된 모델들을 모두 능가한다.

ABSTRACT

Committee-based models (ensembles or cascades) construct models by combining existing pre-trained ones. While ensembles and cascades are well-known techniques that were proposed before deep learning, they are not considered a core building block of deep model architectures and are rarely compared to in recent literature on developing efficient models. In this work, we go back to basics and conduct a comprehensive analysis of the efficiency of committee-based models. We find that even the most simplistic method for building committees from existing, independently pre-trained models can match or exceed the accuracy of state-of-the-art models while being drastically more efficient. These simple committee-based models also outperform sophisticated neural architecture search methods (e.g., BigNAS). These findings hold true for several tasks, including image classification, video classification, and semantic segmentation, and various architecture families, such as ViT, EfficientNet, ResNet, MobileNetV2, and X3D. Our results show that an EfficientNet cascade can achieve a 5.4x speedup over B7 and a ViT cascade can achieve a 2.3x speedup over ViT-L-384 while being equally accurate.

연구 동기 및 목표

• 효율적 딥러닝을 위한 잊혀진 패러다임으로 간단한 위원회 기반 모델(앙상블 및 캐스케이드)의 재평가를 위해.
• 효율성과 정확도 측면에서 위원회 모델과 현대의 단일 모델 아키텍처 간의 체계적 비교가 부족한 문제를 해결하기 위해.
• 특수한 아키텍처 튜닝 없이도 복잡한 탐색 최적화 아키텍처를 능가할 수 있는 단순한 오프더쇼프 위원회 모델의 성능을 입증하기 위해.
• ViT, EfficientNet, ResNet, MobileNetV2, X3D 등 다양한 작업과 모델 패밀리에 걸쳐 위원회 모델이 일반화됨을 경험적으로 입증하기 위해.
• 미래의 모델 개발 및 실무적 구현에서 위원회 모델을 강력한 베이스라인으로 삼을 것을 주장하기 위해.

제안 방법

• 재훈련이나 특수 가중치 설정 없이, 독립적으로 사전 훈련된 다수의 모델 예측을 평균화하여 앙상블를 구성한다.
• 사전 훈련된 모델들을 순차적으로 적용하고, 신뢰도 임계값(최대 소프트맥스 확률)을 사용해 조기 종료를 결정한다.
• 세분화와 같은 조밀한 예측 작업의 경우, 각 픽셀의 신뢰도 점수 평균을 통해 이미지 단위의 신뢰도 점수를 계산하여 다음 모델로 넘길지 결정한다.
• 세분화 캐스케이드에서 격자 기반 추론을 적용하여 각 격자 셀을 독립적으로 평가함으로써 어려운 영역에서의 계산 낭비를 줄인다.
• 아키텍처 수정이나 미세조정 없이 표준 사전 훈련된 모델(예: EfficientNet-B5, ViT-L-384, X3D)을 구성 요소로 사용한다.
• 표준 지표를 사용해 성능를 평가한다: ImageNet의 정확도 상위 1개, Cityscapes의 mIoU, Kinetics-600의 정확도 상위 1개이며, FLOPs와 지연 시간을 효율성 측도로 사용한다.

실험 결과

연구 질문

• RQ1 간단한 위원회 모델—사전 훈련된 오프더쇼프 모델들로 구성된 것—이 정확도와 효율성 측면에서 최신 단일 모델을 능가할 수 있는가?
• RQ2 속도-정확도 트레이드오프 측면에서 위원회 모델은 현대의 신경망 아키텍처 탐색(NAS) 방법과 어떻게 비교되는가?
• RQ3 캐스케이드의 효율성 향상 효과가 이미지, 영상, 조밀한 예측 작업을 포함한 다양한 모델 패밀리와 작업에 걸쳐 유지되는가?
• RQ4 캐스케이드가 실시간 배포에 적합한 속도 향상과 최악의 경우 FLOPs 보장을 동시에 제공할 수 있는가?
• RQ5 다양한 해상도에서 동일한 모델를 사용한 자기 캐스케이드가 정확도 손실 없이 상당한 추론 속도 향상을 이룰 수 있는가?

주요 결과

• 두 개의 EfficientNet-B5 모델 앙상블는 EfficientNet-B7(이미지 분류에서 SoTA 모델)의 정확도를 도달하지만 FLOPs는 55%에 불과(20.5B vs. 37B).
• ResNet 캐스케이드는 Inception-v4보다 더 높은 정확도를 달성하면서도 더 적은 FLOPs를 사용하여 강력한 단일 모델을 능가함을 입증한다.
• EfficientNet 캐스케이드는 ImageNet에서 EfficientNet-B7와 동일한 정확도를 유지하면서도 5.4배 빠른 속도 향상을 달성한다.
• ViT 캐스케이드는 ImageNet에서 ViT-L-384의 정확도를 재현하면서도 2.3배 빠른 속도 향상과 평균 FLOPs 2.3배 감소를 달성한다.
• Kinetics-600에서 X3D 모델의 캐스케이드는 X3D-XL보다 정확도 상위 1개가 1.2% 높지만 평균 FLOPs는 3.7배 감소한다.
• 세분화 작업에서 격자 수준 추론을 적용한 DeepLabv3 캐스케이드는 ResNet-101보다 1.3배 더 빠른 추론 속도를 기록하면서도 mIoU 78.1%를 동일하게 유지한다.