[논문 리뷰] Latent Model Ensemble with Auto-localization

Miao Sun, Tony Xiao Han외 3명|arXiv (Cornell University)|2016. 04. 15.

Advanced Neural Network Applications참고 문헌 28인용 수 6

한 줄 요약

이 논문은 잠재 변수로 가장 분류에 유의미한 이미지 영역을 자동으로 식별하고 집중하는 잠재 CNN 프레임워크를 제안한다. 이로 인해 관련 없는 배경 영역의 간섭을 줄여 분류 정확도를 향상시킨다. 새로운 잠재 모델 앙상블을 통해 전역 CNN과 부분 기반 잠재 CNN을 융합함으로써, CIFAR-10, CIFAR-100, MNIST, PASCAL VOC 2007에서 최신 기술 수준(SOTA)의 성능을 달성하였으며, 각각 오차율이 8.13%, 32.31%, 0.42%, 15.4%였다.

ABSTRACT

Deep Convolutional Neural Networks (CNN) have exhibited superior performance in many visual recognition tasks including image classification, object detection, and scene label- ing, due to their large learning capacity and resistance to overfit. For the image classification task, most of the current deep CNN- based approaches take the whole size-normalized image as input and have achieved quite promising results. Compared with the previously dominating approaches based on feature extraction, pooling, and classification, the deep CNN-based approaches mainly rely on the learning capability of deep CNN to achieve superior results: the burden of minimizing intra-class variation while maximizing inter-class difference is entirely dependent on the implicit feature learning component of deep CNN; we rely upon the implicitly learned filters and pooling component to select the discriminative regions, which correspond to the activated neurons. However, if the irrelevant regions constitute a large portion of the image of interest, the classification performance of the deep CNN, which takes the whole image as input, can be heavily affected. To solve this issue, we propose a novel latent CNN framework, which treats the most discriminate region as a latent variable. We can jointly learn the global CNN with the latent CNN to avoid the aforementioned big irrelevant region issue, and our experimental results show the evident advantage of the proposed latent CNN over traditional deep CNN: latent CNN outperforms the state-of-the-art performance of deep CNN on standard benchmark datasets including the CIFAR-10, CIFAR- 100, MNIST and PASCAL VOC 2007 Classification dataset.

연구 동기 및 목표

• 이미지에 큰 관련 없는 배경 영역이 존재할 경우 발생하는 딥 CNN의 성능 저하 문제를 해결하기 위해.
• 가장 분류에 유의미한 이미지 영역을 잠재 변수로 간주하는 프레임워크를 개발하여 특징 학습을 향상시키기 위해.
• 전역 CNN과 부분 기반 CNN 예측을 더 효과적으로 융합할 수 있는 새로운 앙상블 방법인 잠재 모델 앙상블을 도입하기 위해.
• CIFAR-10, CIFAR-100, MNIST, PASCAL VOC 2007과 같은 표준 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 프레임워크는 전체 이미지를 처리하는 전역 CNN과 여러 자르기 영역을 처리하는 부분 기반 CNN을 사용하여 가장 분류에 유의미한 영역을 식별한다.
• 부분 기반 탐지 모델링을 위해 잠재 SVM을 활용하며, 가장 활성화된 패치(즉, 가장 분류에 유의미한 영역)를 잠재 변수로 선택한다.
• 잠재 모델 앙상블은 전역 CNN과 최고 성능을 보인 국소 패치의 예측을 융합 전략을 통해 결합하여 일반화 성능을 향상시킨다.
• 다중 클래스 잠재 SVM의 엔트리-투-엔드 최적화를 가능하게 하기 위해 확률적 경사 하강법을 사용하여 훈련한다.
• 깊은 특징 추출을 위해 NIN(Network-in-Network) 아키텍처를 사용하며, mlpconv 층, 글로벌 평균 풀링, 드롭아웃을 포함한다.
• 각 이미지에 대해 10개의 랜덤 패치를 추출하며, 최고의 패치에서의 반응을 알고리즘 2를 사용해 전역 이미지 반응과 융합한다.

실험 결과

연구 질문

• RQ1 전체 이미지 대신 가장 분류에 유의미한 이미지 영역에 집중하는 것이 시각 분류 작업에서 딥 CNN 성능을 향상시킬 수 있는가?
• RQ2 큰 관련 없는 배경 영역을 포함한 이미지를 다룰 때, 잠재 변수 기반 CNN 프레임워크가 표준 전역 CNN보다 어떻게 성능을 냈는가?
• RQ3 전역 및 부분 기반 CNN 예측을 융합하는 새로운 앙상블 방법이 기존의 평균화 또는 투표 전략보다 우월한가?
• RQ4 제안된 잠재 모델 앙상블이 CIFAR-10, CIFAR-100, MNIST, PASCAL VOC 2007와 같은 표준 벤치마크에서 최신 기술 수준의 성능을 달성하는가?

주요 결과

• 제안된 2CNN-잠재 방법은 CIFAR-10에서 테스트 오차율 8.13%를 기록하여 NIN 베이스라인 대비 0.68%p 향상시켰다.
• CIFAR-100에서는 32.31%의 오차율을 기록하여 NIN 베이스라인 대비 2.0%p 향상시켰다.
• MNIST에서는 0.42%의 오차율을 기록하여 NIN 베이스라인 대비 0.05%p 향상시켰다.
• 잠재 모델 앙상블은 모든 데이터셋에서 표준 평균화(2CNN-average) 대비 성능 향상을 크게 보이며 융합 전략의 효과성을 입증하였다.
• PASCAL VOC 2007에서는 15.4%의 오차율을 기록하여 복잡한 실제 세계 이미지(다중 레이블, 혼잡한 배경 포함)에서도 뛰어난 일반화 성능을 보였다.
• 제거 분석을 통해 잠재 CNN 프레임워크가 특히 작은 객체나 부분적으로 가려진 경우(예: '화분에 심은 식물', '보트+사람')에 관련 없는 영역의 간섭을 줄임을 확인하였다.