[논문 리뷰] Fine-Grained Classification via Mixture of Deep Convolutional Neural Networks

Zongyuan Ge, Alex Bewley외 4명|arXiv (Cornell University)|2015. 11. 30.

Advanced Neural Network Applications참고 문헌 21인용 수 5

한 줄 요약

이 논문은 이미지를 K개의 유사한 부분집합으로 나누고, 이를 바탕으로 K개의 전문가 DCNN를 함께 끝에서 끝까지 최적화하는 방식으로 정 fine-grained 이미지 분류 성능을 햖을 수 있는 혼합형 딥 컨volution 네트워크인 MixDCNN를 제안한다. 각 전문가의 신뢰도 가중 출력을 사용함으로써 별도의 게이팅 네트워크가 필요 없으며, 다양한 데이터셋에서 기준 방법 대비 12.7%의 상대적 성능 향상을 달성하여 최신 기술 수준(SOTA)을 달성한다.

ABSTRACT

We present a novel deep convolutional neural network (DCNN) system for fine-grained image classification, called a mixture of DCNNs (MixDCNN). The fine-grained image classification problem is characterised by large intra-class variations and small inter-class variations. To overcome these problems our proposed MixDCNN system partitions images into K subsets of similar images and learns an expert DCNN for each subset. The output from each of the K DCNNs is combined to form a single classification decision. In contrast to previous techniques, we provide a formulation to perform joint end-to-end training of the K DCNNs simultaneously. Extensive experiments, on three datasets using two network structures (AlexNet and GoogLeNet), show that the proposed MixDCNN system consistently outperforms other methods. It provides a relative improvement of 12.7% and achieves state-of-the-art results on two datasets.

연구 동기 및 목표

• 작은 클래스 간 차이와 큰 클래스 내 변동성으로 인해 정확한 식별이 어려운 fine-grained 이미지 분류의 과제를 해결한다.
• 기존 방법이 별도의 게이팅 네트워크에 의존하거나 전문가 네트워크를 단지 특징 추출 목적에만 사용하는 한계를 극복한다.
• 전문가 네트워크와 그들의 신뢰도 기반 가중치를 함께 최적화하는 통합된, 끝에서 끝까지 훈련 가능한 프레임워크를 개발한다.
• 동적 샘플 재할당 기능을 통해 기존의 앙상블, 게이팅, 부분집합 특징 학습 방법보다 성능을 향상시킨다.

제안 방법

• 사전 훈련된 DCNN(AlexNet 또는 GoogLeNet)의 특징을 기반으로 클러스터링을 사용해 훈련 데이터를 K개의 겹치지 않는 부분집합으로 나눈다.
• 각 부분집합에 대해 하나의 전문가 DCNN을 훈련시키며, 사전 훈련된 네트워크(예: ImageNet 가중치)에서 공유된 가중치를 초기화한다.
• 각 전문가의 출력을 그 예측에 대한 신뢰도 비율에 따라 가중치를 두어 소프트 앙상블 결정을 형성한다.
• 모든 K개의 전문가 네트워크와 신뢰도 가중치 메커니즘을 함께 끝에서 끝까지 역전파를 수행함으로써, 훈련 중에 동적 샘플 재할당이 가능하도록 한다.
• 클러스터링을 위해 첫 번째 완전 연결층(AlexNet) 또는 최종 특징층(GoogLeNet)의 특징을 사용하여 차원을 D=128로 줄이기 위해 선형 판별 분 析(LDA)를 적용한다.
• 과적합을 방지하기 위해 GoogLeNet의 최종 레이어에 더 높은 드롭아웃 비율(0.5)을 사용하여 표준 교차 엔트로피 손실로 훈련한다.

실험 결과

연구 질문

• RQ1 여러 전문가 DCNN에 대한 공동 끝에서 끝까지의 훈련 프레임워크가 기존의 앙상블 또는 게이팅 방법을 넘어서서 fine-grained 분류 성능을 향상시킬 수 있는가?
• RQ2 신뢰도 가중 출력을 통한 적응형 샘플 재할당이 고정된 분할 또는 별도의 게이팅 네트워크보다 우수한가?
• RQ3 다양한 네트워크 아키텍처(AlexNet 대비 GoogLeNet)와 데이터셋에서 혼합형 전문가 접근법의 성능 스케일링은 어떻게 되는가?
• RQ4 데이터셋 크기가 혼합형 전문가 전략의 효과성에 미치는 영향은 어떠한가, 특히 전이 학습이 이미 잘 작동하는 경우에 대해 말이다?
• RQ5 게이팅 감독 없이도 점유도 확률 메커니즘이 가장 관련성이 높은 전문가에게 샘플을 효과적으로 할당하는 데 성공할 수 있는가?

주요 결과

• CUB 데이터셋을 제외한 모든 데이터셋에서 기준 방법인 DCNN-tl 대비 MixDCNN이 12.7%의 상대적 성능 향상을 달성한다.
• Birdsnap 데이터셋에서 MixDCNN는 전이 학습을 사용한 GoogLeNet 기반으로 67.4%의 정확도를 기록했으며, 이는 이전 최신 기술 수준인 48.8% 대비 9.9%의 상대적 향상이다.
• PlantCLEF-Flower 데이터셋에서 MixDCNN는 51.9%의 정확도를 달성했으며, 기준 DCNN-tl의 48.7% 대비 7.0%의 상대적 향상이다.
• GatedDCNN(평균 9.1% 상대적 향상), 부분집합 특징 학습 및 앙상블 방법과 비교해 일관되게 뛰어난 성능을 보였다.
• Birdsnap와 같이 더 큰 데이터셋에서는 성능 향상이 두드러지지만, CUB200-2011와 같이 작은 데이터셋에서는 전이 학습이 이미 잘 작동하므로 성능 향상가 제한적이다.
• 공동 훈련 메커니즘이 훈련 중에 가장 적절한 전문가에게 샘플을 동적으로 재할당함으로써 모델의 적응성과 정확도를 향상시킨다.