[논문 리뷰] Group Ensemble: Learning an Ensemble of ConvNets in a single ConvNet

Hao Chen, Abhinav Shrivastava|arXiv (Cornell University)|2020. 07. 01.

Advanced Neural Network Applications참고 문헌 62인용 수 13

한 줄 요약

이 논문은 공유 기반의 다중 헤드 설계와 그룹 컨볼루션을 사용하여 단일 컨볼루션 네트워크 내에 명시적 컨볼루션 네트워크 앙상블을 통합하는 새로운 아키텍처인 그룹 앙상블 네트워크(GENet)를 제안한다. 그룹 평균화, 워깅 또는 부스팅을 통해 앙상블 구성원을 독립적으로 훈련하고 집계함으로써, GENet는 FLOPs나 파라미터 수를 늘리지 않으면서도 ImageNet, CIFAR, 동작 인식, 객체 검출에서 최신 기준(SOTA) 성능을 달성한다. ResNeXt-50에서 상위-1 오차를 1.83% 감소시킨다.

ABSTRACT

Ensemble learning is a general technique to improve accuracy in machine learning. However, the heavy computation of a ConvNets ensemble limits its usage in deep learning. In this paper, we present Group Ensemble Network (GENet), an architecture incorporating an ensemble of ConvNets in a single ConvNet. Through a shared-base and multi-head structure, GENet is divided into several groups to make explicit ensemble learning possible in a single ConvNet. Owing to group convolution and the shared-base, GENet can fully leverage the advantage of explicit ensemble learning while retaining the same computation as a single ConvNet. Additionally, we present Group Averaging, Group Wagging and Group Boosting as three different strategies to aggregate these ensemble members. Finally, GENet outperforms larger single networks, standard ensembles of smaller networks, and other recent state-of-the-art methods on CIFAR and ImageNet. Specifically, group ensemble reduces the top-1 error by 1.83% for ResNeXt-50 on ImageNet. We also demonstrate its effectiveness on action recognition and object detection tasks.

연구 동기 및 목표

• 딥 러닝에서 명시적 모델 앙상블의 높은 계산 비용을 해결하면서도 성능 이점을 유지하는 것.
• 단일 컨볼루션 네트워크 아키텍처 내에서 명시적 앙상블 학습(예: 배깅, 부스팅, 스태킹)을 가능하게 하는 것.
• 정확도를 희생시키지 않고 앙상블 모델의 추론 및 훈련 비용을 줄이는 것.
• 통합된 엔드 투 엔드 학습 가능한 프레임워크 내에서 그룹 평균화, 워깅, 부스팅과 같은 효율적인 집계 전략을 탐색하는 것.
• 이를 다양한 비전 작업, 즉 이미지 분류, 동작 인식, 객체 검출 등으로 일반화할 수 있는지 검증하는 것.

제안 방법

• GENet는 하위층이 앙상블 구성원 간에 공유되고, 상위층(분류기 포함)이 그룹화되어 독립적으로 훈련되는 공유 기반의 다중 헤드 아키텍처를 사용한다.
• 그룹 컨볼루션을 사용하여 다중 헤드 구조를 효율적으로 구현함으로써, 초기층에서는 파라미터 공유가 가능하고, 후속층에서는 독립 학습이 가능해진다.
• 세 가지 집계 전략이 도입된다: 그룹 평균화(앙상블 평균화), 그룹 워깅(학습 데이터의 확률적 편향), 그룹 부스팅(잔차 학습을 통한 순차적 훈련).
• 모든 앙상블 구성원가 함께 최적화되면서도 단일 컨볼루션 네트워크와 동일한 FLOPs와 파라미터 수를 유지할 수 있도록 미니배치 SGD를 사용해 엔드 투 엔드로 훈련된다.
• 다양한 컨볼루션 네트워크 인스턴스가 유사한 저수준 특징으로 수렴한다는 경험적 통찰을 바탕으로 공유 기반 설계의 타당성을 입증한다.
• 이 아키텍처는 이미지, 비디오, 객체 검출 벤치마크에서 ResNet, ResNeXt, I3D 모델에 적용된다.

실험 결과

연구 질문

• RQ1 명시적 앙상블 학습이 계산 비용을 증가시키지 않고 단일 컨볼루션 네트워크 내에 효과적으로 통합될 수 있는가?
• RQ2 공유 기반 및 다중 헤드 설계가 파라미터 효율성과 앙상블 방법의 성능 향상 모두를 가능하게 할 수 있는가?
• RQ3 그룹 평균화, 워깅, 부스팅과 같은 다양한 앙상블 집계 전략이 통합된 단일 모델 프레임워크 내에서 어떻게 성능을 내는가?
• RQ4 제안된 그룹 앙상블 네트워크가 표준 앙상블이나 더 큰 단일 모델보다 표준 벤치마크에서 우수한 성능을 내는가?
• RQ5 이 방법이 이미지 분류, 동작 인식, 객체 검출과 같은 다양한 비전 작업으로 일반화될 수 있는가?

주요 결과

• GENet는 ResNeXt-50에서 ImageNet에서 상위-1 오차를 1.83% 감소시켜 두 개의 ResNeXt-50 모델로 구성된 표준 앙상블보다 우수한 성능을 달성한다.
• CIFAR-10에서 GENet는 단지 490만 파라미터와 0.76G FLOPs로 테스트 오차 3.95%를 기록하며, 표준 앙상블과 더 큰 단일 모델을 초월한다.
• 동작 인식 작업에서 그룹 워깅은 그룹 평균화를 초월하여 Something-Something에서 정확도를 3% 향상시키고, Kinetics-200에서는 1.4% 향상시킨다.
• COCO 2017 객체 검출에서 GENet는 파라미터 수에 변화가 없이 기준 Faster R-CNN 대비 AP를 1.0%p 향상시키고, AP75를 1.54% 향상시킨다.
• GENet는 단일 컨볼루션 네트워크와 동일한 FLOPs와 파라미터 수를 유지하면서도 ImageNet과 CIFAR에서 최신 기준 성능을 달성한다.
• 이 방법은 이미지 분류, 동작 인식, 객체 검출에 이르기까지 다양한 작업에서 일관된 성능 향상을 보이며, 일반화성과 효율성을 입증한다.