[논문 리뷰] The Relative Performance of Ensemble Methods with Deep Convolutional Neural Networks for Image Classification

Cheng Ju, Aurélien Bibaut외 1명|arXiv (Cornell University)|2017. 04. 05.

Machine Learning and Data Classification참고 문헌 30인용 수 14

한 줄 요약

이 논문은 CIFAR-10에서 이미지 분류를 위해 깊이 있는 합성곱 신경망(CNNs)을 기본 학습기로 사용하여, 가중치 없는 평균, 다수결 투표, 베이즈 최적 분류기, 슈퍼러너(Super-Learner)를 포함한 네 가지 앙상블 방법을 평가한다. 슈퍼러너는 교차검증된 위험 최소화를 통해 가중치를 최적화하는 데이터 적응형 앙상블 방법으로, 특히 약한 모델이나 과도하게 자신감 있는 모델이 포함된 경우에도 항상 다른 모든 방법보다 뛰어난 성능을 보이며, 이는 다양한 기본 학습기로 구성된 실생활 상황에서의 강건성과 우수성을 입증한다.

ABSTRACT

Artificial neural networks have been successfully applied to a variety of machine learning tasks, including image recognition, semantic segmentation, and machine translation. However, few studies fully investigated ensembles of artificial neural networks. In this work, we investigated multiple widely used ensemble methods, including unweighted averaging, majority voting, the Bayes Optimal Classifier, and the (discrete) Super Learner, for image recognition tasks, with deep neural networks as candidate algorithms. We designed several experiments, with the candidate algorithms being the same network structure with different model checkpoints within a single training process, networks with same structure but trained multiple times stochastically, and networks with different structure. In addition, we further studied the over-confidence phenomenon of the neural networks, as well as its impact on the ensemble methods. Across all of our experiments, the Super Learner achieved best performance among all the ensemble methods in this study.

연구 동기 및 목표

• 깊이 있는 합성곱 신경망(CNN)을 사용한 이미지 분류에 적용된 널리 사용되는 앙상블 방법의 상대적 성능을 평가하는 것.
• 모델의 이질성, 과도한 자신감, 열악한 기본 학습기의 영향이 앙상블 성능에 미치는 영향을 조사하는 것.
• 실제로 데이터 적응형 앙상블 방법인 슈퍼러너가 단순 평균 또는 투표 전략보다 뛰어난 성능을 보일 수 있는지 평가하는 것.
• 다양한 라이브러리 구성, 특히 과소적합 또는 과도하게 자신감 있는 모델이 포함된 경우 앙상블 방법의 강건성을 탐구하는 것.
• 유한하고 복잡한 데이터셋을 가진 실생활 이미지 인식 작업에서 슈퍼러너의 실용적 이점을 입증하는 것.

제안 방법

• 기본 학습기로 깊이 있는 CNN(VGG, ResNet, GoogLeNet, NIN)를 사용하며, 다른 초기화, 아키텍처 또는 학습 반복 수를 통해 다양한 앙상블을 구성한다.
• 네 가지 앙상블 방법을 평가한다: 가중치 없는 평균, 다수결 투표, 베이즈 최적 분류기(BOC), 그리고 교차검증된 위험 최소화를 통해 최적의 볼록 가중치를 계산하는 슈퍼러너.
• 계산 자원의 제약으로 인해 단일 분할 교차검증 방식을 사용하며, 검증 세트에서 예측 오차를 최소화하도록 가중치를 최적화한다.
• 앙상블 예측은 소프트맥스 활성화 이전 또는 이후에 계산되며, 성능 평가는 테스트 세트 정확도로 평가된다.
• 동일한 아키텍처이지만 다른 가중치를 가진 동종 라이브러리와, 서로 다른 아키텍처, 학습 런, 최적화 상태를 가진 이종 라이브러리를 모두 평가한다.
• 슈퍼러너는 기본 학습기 출력 위에 1×1 합성곱 레이어로 작동하는 가중치 학습 가능한 선형 조합으로 구현된다.

실험 결과

연구 질문

• RQ1 유사한 성능와 유사한 아키텍처를 가진 깊이 있는 CNN에 대해 다양한 앙상블 방법이 어떻게 성능을 내는가?
• RQ2 약한 또는 과도하게 자신감 있는 기본 학습기를 포함할 경우, 가중치 없는 평균 및 다수결 투표와 같은 앙상블 방법의 성능에 어떤 영향을 미치는가?
• RQ3 데이터 적응형 앙상블 방법인 슈퍼러너는 약한 성능을 보이거나 과도하게 자신감 있는 모델이 포함된 라이브러리에서도 높은 성능을 유지할 수 있는가?
• RQ4 다양한 기본 학습기(다른 아키텍처, 학습 반복 수)를 포함할 경우, 앙상블 기법의 상대적 성능에 어떤 영향을 미치는가?
• RQ5 기본 학습기들을 최적의 가중치로 할당할 수 있는 슈퍼러너의 능력이 다양한 라이브러리 구성에서 일관된 성능 향상을 이끌어내는가?

주요 결과

• 4개의 기본 학습기(VGG, ResNet 32, 44, 56)를 사용할 때 슈퍼러너는 CIFAR-10에서 테스트 정확도 0.9477을 기록하여 가장 뛰어난 단일 기본 학습기(0.9399)를 초월했다.
• 기본 학습기가 유사한 성능일 경우 가중치 없는 평균이 잘 작동했지만, 약한 5개의 GoogLeNet 모델을 추가했을 경우 성능이 급격히 악화되어 0.9001로 떨어졌으며, 이는 열악한 학습기의 영향에 민감함을 보였다.
• 다수결 투표도 약한 학습기에 의해 손상되었으며, 5개의 과소적합된 GoogLeNets가 포함된 경우 정확도가 0.8720으로 떨어졌고, 가중치 없는 평균은 0.9001로 떨어졌다.
• 약한 5개의 GoogLeNet 모델이 포함된 상황에서도 슈퍼러너는 안정적인 성능(0.9477)을 유지하여 열악한 품질의 기본 학습기의 영향에 강건함을 입증했다.
• 과소적합 또는 과도하게 자신감 있는 모델까지 포함한 모든 기본 학습기를 사용할 경우 슈퍼러너는 테스트 정확도 0.9502를 기록하여, 가중치 없는 평균(0.9448)과 다수결 투표(0.9410)를 크게 앞서는 성능을 보였다.
• 모든 실험에서 슈퍼러너의 성능는 일관되게 뛰어나, 수동 선택이나 사전 필터링 없이도 최적의 가중치를 적응적으로 할당할 수 있음을 확인했다.