[논문 리뷰] Deep Network Ensemble Learning applied to Image Classification using CNN Trees

Abdul Mueed Hafiz, G. Mohiuddin Bhat|arXiv (Cornell University)|2020. 07. 23.

Face and Expression Recognition인용 수 6

한 줄 요약

이 논문은 결정 트리 구조에 영감을 받은 순차적이고 깊이 있는 네트워크 앙상블을 사용하는 새로운 앙상블 학습 프레임워크인 CNN Trees를 제안한다. 이 방법은 ImageNet 및 Natural Images 데이터셋에서 단일 모델인 ResNet50보다 뛰어난 성능을 달성하며, 복잡한 튜닝 없이도 구조적으로 정렬된 앙상블 통합을 통해 정확도를 향상시킨다.

ABSTRACT

Traditional machine learning approaches may fail to perform satisfactorily when dealing with complex data. In this context, the importance of data mining evolves w.r.t. building an efficient knowledge discovery and mining framework. Ensemble learning is aimed at integration of fusion, modeling and mining of data into a unified model. However, traditional ensemble learning methods are complex and have optimization or tuning problems. In this paper, we propose a simple, sequential, efficient, ensemble learning approach using multiple deep networks. The deep network used in the ensembles is ResNet50. The model draws inspiration from binary decision/classification trees. The proposed approach is compared against the baseline viz. the single classifier approach i.e. using a single multiclass ResNet50 on the ImageNet and Natural Images datasets. Our approach outperforms the baseline on all experiments on the ImageNet dataset. Code is available in https://github.com/mueedhafiz1982/CNNTreeEnsemble.git

연구 동기 및 목표

• 기존의 앙상블 학습 방법이 딥 러닝 응용 분야에서 복잡성과 튜닝 과제로 인해 약점이 되는 점을 해결하기 위해.
• 모델 복잡도를 과도하게 증가시키지 않고도 단순하고 순차적이며 효율적인 앙상블 접근법을 개발하여 분류 정확도를 향상시키기 위해.
• ImageNet 및 Natural Images와 같은 표준 이미지 분류 벤치마크에서 ResNet50를 사용한 딥 네트워크 앙상블의 효과성을 탐색하기 위해.
• 트리 유사한 구조가 딥 러닝 앙상블 학습에서 성능 향상에 기여할 수 있는지 평가하기 위해.

제안 방법

• 제안된 방법은 각 노드가 훈련된 ResNet50 모델을 나타내는 트리 구조를 구축하며, 의사결정은 신뢰도 점수 또는 특징 활성화에 기반한다.
• 앙상블는 순차적으로 구축된다: 후속 모델은 이전 모델이 잘못 분류한 샘플들 위에서 훈련되며, 부스팅 전략과 유사하게 동작한다.
• 최종 예측은 트리 내 모든 모델의 예측을 가중 투표 또는 평균화를 통해 통합하여 도출된다.
• 깊이 있는 층을 거쳐도 성능과 안정성을 유지하기 위해 ResNet50의 잔차 학습 블록을 활용한다.
• 고정된 순차적 훈련 스케줄과 신뢰도 기반 샘플 라우팅을 통해 복잡한 하이퍼파rameter 튜닝을 피한다.
• 표준 메트릭인 top-1 및 top-5 정확도를 사용하여 ImageNet 및 Natural Images 데이터셋에서 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 단일 ResNet50 모델에 비해 트리 구조 앙상블를 사용한 딥 네트워크가 이미지 분류 성능을 향상시킬 수 있는가?
• RQ2 다중 ResNet50 모델 간에 순차적이고 신뢰도 기반의 잘못 분류된 샘플 라우팅 전략이 더 나은 일반화 성능을 이끌어낼 수 있는가?
• RQ3 정확도와 훈련 복잡도 측면에서 CNN Trees 접근법은 전통적인 앙상블 방법에 비해 어떻게 비교되는가?
• RQ4 제안된 방법이 도전적인 이미지 분류 벤치마크에서 오류율을 어느 정도 감소시키는가?

주요 결과

• CNN Trees 앙상블은 ImageNet 데이터셋에서 수행된 모든 실험에서 단일 ResNet50 베이스라인을 능가한다.
• 제안된 방법은 단일 모델 베이스라인 대비 더 높은 top-1 및 top-5 정확도를 달성하며, 다수의 런에 걸쳐 일관된 향상을 보여준다.
• 순차적 훈련 전략은 하드 샘플에 집중함으로써 잘못 분류를 효과적으로 줄이는 데 기여한다.
• 이 방법은 효율성을 유지하면서도 전통적인 앙상블 학습 프레임워크에서 흔히 발생하는 최적화 및 튜닝 문제를 피한다.