[논문 리뷰] MNIST-NET10: A heterogeneous deep networks fusion based on the degree of certainty to reach 0.1 error rate. Ensembles overview and proposal

Siham Tabik, Ricardo F. Alvear-Sandoval외 4명|arXiv (Cornell University)|2020. 01. 30.

Remote-Sensing Image Classification참고 문헌 33인용 수 4

한 줄 요약

이 논문은 MNIST-NET10을 제안하며, 데이터 증강을 적용한 CNN과 ECOC 및 배깅을 활용한 캡넷 기반 파ip라인을 융합하는 새로운 확신도 집약 전략을 사용한 복잡한 이종 딥러닝 앙상블이다. 이 방법은 모델, 데이터, 융합 수준의 다양성을 활용하여 MNIST에서 기존 최고 성능을 갱신한 0.1%의 오차율을 달 đạt하였으며, 10,000장의 테스트 이미지 중 단 10장만 잘못 분류하였다.

ABSTRACT

Ensemble methods have been widely used for improving the results of the best single classificationmodel. A large body of works have achieved better performance mainly by applying one specific ensemble method. However, very few works have explored complex fusion schemes using het-erogeneous ensembles with new aggregation strategies. This paper is three-fold: 1) It provides an overview of the most popular ensemble methods, 2) analyzes several fusion schemes using MNIST as guiding thread and 3) introduces MNIST-NET10, a complex heterogeneous fusion architecture based on a degree of certainty aggregation approach; it combines two heterogeneous schemes from the perspective of data, model and fusion strategy. MNIST-NET10 reaches a new record in MNISTwith only 10 misclassified images. Our analysis shows that such complex heterogeneous fusionarchitectures based on the degree of certainty can be considered as a way of taking benefit fromdiversity.

연구 동기 및 목표

• MNIST에서 단일 앙상블 전략을 초월한 복잡한 융합 기법을 탐색하기 위해.
• 이종 모델, 데이터 표현 방식, 융합 기법을 조합하여 일반화 능력과 견고성을 향상시키기 위해.
• 다양성 기반 앙상블 설계를 통해 MNIST에서 새로운 최고 성능 오차율을 달성하기 위해.
• 이종 앙상블에서 새로운 확신도 집약 방법의 효과성을 평가하기 위해.

제안 방법

• 이 방법은 두 가지 이종 융합 기법을 조합한다: 하나는 데이터 증강을 적용한 다수의 CNN 기반 기법(FS1), 다른 하나는 캡넷을 사용해 입력을 변환한 후 ECOC와 배깅을 적용하는 기법(FS2).
• 확신도 집약 전략을 도입하여 최종 예측을 투표 수의 가중합으로 계산한다: $ d = \arg\max_{d_i} \left[ \frac{v_1(d_i)}{9} + \frac{v_2(d_i)}{101} \right] $, 여기서 가중치는 각 앙상블 내 분류기 수를 반영한다.
• 첫 번째 융합 기법(FS1)은 데이터 증강과 다수의 CNN 아키텍처를 사용하여 다양성을 증가시킨다.
• 두 번째 기법(FS2)은 캡넷을 활용해 주의 기반 특징을 추출한 후 ECOC와 배깅을 적용하여 다양성과 정확도를 추가로 향상시킨다.
• 최종 앙상블인 MNIST-NET10은 확신도 집약 방법을 사용해 FS1과 FS2의 출력을 융합하여 전체 예측의 신뢰도와 정확도를 향상시킨다.
• 오차율 추정의 통계적 안정성과 신뢰성을 확보하기 위해 10회 반복 실험을 수행한다.

실험 결과

연구 질문

• RQ1 다양한 앙상블 전략을 융합한 복잡한 이종 융합 아키텍처가 존재하는 최고 성능을 초월해 MNIST 분류 성능을 향상시킬 수 있는가?
• RQ2 확신도 집약 전략이 이종 앙상블에서 표준 투표 또는 평균화 방법보다 우수한 성능을 내는가?
• RQ3 캡넷 기반 데이터 변환 기법이 MNIST에 대한 앙상블 학습에서 성능 향상에 어느 정도 기여하는가?
• RQ4 데이터 수준, 모델 수준, 융합 수준의 다양성이 오차 감소에 어느 정도 기여하는가?
• RQ5 제안된 융합 기법이 MNIST에서 테스트 오차율을 0.1% 이하로 낮출 수 있는가?

주요 결과

• MNIST-NET10은 테스트 오차율 0.10% ± 0.02%를 달성하여 10,000장의 테스트 이미지 중 단 10장만 잘못 분류하였으며, 이는 새로운 최고 성능이다.
• 확신도 집약 전략은 두 개의 이종 앙상블을 효과적으로 융합하여 개별 융합 기법을 초월한 성능 향상을 이룬다.
• FS1(CNN 기반, 데이터 증강 포함)은 10개의 숫자를 잘못 분류하였고, FS2(캡넷 기반, ECOC 및 배깅 포함)는 4개의 숫자를 잘못 분류하였으며, 융합 과정에서 이 중 10개의 잘못 분류를 수정하였다.
• 캡넷 입력(Dataset-3)은 원본 MNIST(Dataset-2)보다 일관되게 성능을 향상시켰으며, 특히 두 번째 단계 융합(FS3)에서 두드러졌다.
• LS 레이어를 배깅|SDAE로 교체하면 Dataset-2에서는 FS3 성능이 향상되었지만 Dataset-3에서는 영향을 주지 않아 캡넷의 높은 특징 추출 능력이 확인되었다.
• 남아 있는 잘못 분류된 숫자들은 시각적으로 모호한 경우였으며, 이는 향후 성능 향상이 실질적인 이득을 거의 제공하지 않을 것임을 시사한다.