[논문 리뷰] Learning Fine-grained Features via a CNN Tree for Large-scale Classification

Zhenhua Wang, Xingxing Wang외 1명|arXiv (Cornell University)|2015. 11. 14.

Advanced Neural Network Applications참고 문헌 44인용 수 7

한 줄 요약

이 논문은 대규모 이미지 분류에서 특징의 구분 능력을 향상시키기 위해 점점 더 정밀해지는 클래스 부분집합에 대해 전문화된 합성곱 신경망(CNN)을 훈련시는 CNN 트리 프레임워크를 제안한다. 기본 CNN 모델에서 잘못 분류되는 클래스들인 혼동 집합을 반복적으로 식별하고, 이러한 부분집합에 대해 전문화된 CNN을 훈련시음으로써 세분화된 특징 학습을 통해 분류 정확도를 향상시키며, AlexNet과 GoogleNet을 사용한 ILSVRC 2015에서 상당한 오차율 감소를 달성한다.

ABSTRACT

We propose a novel approach to enhance the discriminability of Convolutional Neural Networks (CNN). The key idea is to build a tree structure that could progressively learn fine-grained features to distinguish a subset of classes, by learning features only among these classes. Such features are expected to be more discriminative, compared to features learned for all the classes. We develop a new algorithm to effectively learn the tree structure from a large number of classes. Experiments on large-scale image classification tasks demonstrate that our method could boost the performance of a given basic CNN model. Our method is quite general, hence it can potentially be used in combination with many other deep learning models.

연구 동기 및 목표

• 모든 클래스 간 공유되는 특징 학습으로 인해 표준 CNN이 클래스별로 특징적인 구분 능력을 포착하지 못하는 한계를 해결하기 위해.
• 대규모 데이터셋에서 각 클래스에 대해 전문화된 모델을 훈련시킬 때 발생하는 계산 및 메모리 오버헤드를 줄이기 위해.
• 겹치는 혼동 패턴을 가진 클래스들을 그룹화하여 효율적이고 타겟된 특징 학습을 위한 확장 가능한 계층적 트리 구조를 개발하기 위해.
• 혼동 부분집합에 대해 훈련된 전문화된 CNN을 사용해 잘못 분류된 예시의 예측을 보완함으로써 분류 정확도를 향상시키기 위해.
• AlexNet과 GoogleNet과 같은 다양한 백본 CNN 아키텍처에 대해 이 방법의 일반화 능력을 입증하기 위해.

제안 방법

• 기본 CNN 모델에서 추정한 혼동 집합을 바탕으로 클래스를 반복적으로 분할하여 CNN 트리를 구축한다.
• 트리의 각 노드에 대해 해당 노드와 관련된 클래스 집합에 대해 전용 CNN 모델을 훈련시키며, 오직 그 클래스들 간의 구분에 집중한다.
• 겹치는 혼동 집합을 통합하여 더 큰 초집합으로 만들기 위한 히우리스틱 알고리즘을 사용하여 전문화된 모델의 수를 줄이되 정확도는 유지한다.
• 루트에서 시작하여 혼동 집합 추정 및 통합 히우리스틱에 기반해 노드를 확장하는 깊이 우선, 너비 우선의 트리 성장 전략을 적용한다.
• 복잡성을 제어하기 위해 통합된 혼동 집합의 크기를 제한하며, 효율성 향상의 여정에서 일부 정확도를 희생한다.
• 전체 트리에서 전문화된 CNN 모델을 엔드 투 엔드로 미세조정하며, 분석 연구를 위해 초기 레이어를 고정하고 마지막 완전 연결 레이어만 미세조정할 수 있는 옵션을 제공한다.

실험 결과

연구 질문

• RQ1 혼동 패턴에 의해 정의된 클래스 부분집합에 대해 전문화된 CNN을 훈련시키는 것이 단일 공유 CNN에 비해 분류 정확도 향상에 기여하는가?
• RQ2 대규모 다중 클래스 분류에서 높은 성능을 유지하면서 전문화된 CNN 모델의 수를 최소화할 수 있는가?
• RQ3 트리 구조를 통해 계층적이고 점진적인 세분화된 특징 학습이 전역 특징 학습보다 더 높은 구분 능력을 제공하는가?
• RQ4 제안된 방법이 ILSVRC 2015와 같은 도전적인 대규모 데이터셋에서 오차율을 얼마나 감소시키는가?
• RQ5 정확도와 추론 효율성 측면에서 CNN 트리의 성능이 모델 평균화 및 기타 앙상블 전략과 비교해 어떻게 되는가?

주요 결과

• AlexNet과 GoogleNet을 사용한 실험에서, 특징 학습 없이 마지막 레이어만 미세조정한 경우 CNN 트리 방법은 top-1 오차율을 0.59% 감소시키고 top-5 오차율을 0.25% 감소시켜, 전문화된 모델에서 엔드 투 엔드 특징 학습의 가치를 입증한다.
• AlexNet의 경우, 고정된 특징에 대한 로지스틱 회귀만 사용한 상황에서 top-1 오차율은 0.13% 감소하고 top-5 오차율은 0.1% 증가했으며, 이는 성능 향상에 특징 학습이 필수적임을 확인한다.
• ILSVRC 2015에서 CNN 트리 방법은 상당한 오차율 감소를 달성했으며, 그림 3에 나타나 있듯이 더 많은 전문화된 CNN 모델을 추가할수록 top-1 오차율이 감소한다.
• 이 방법은 잘못 분류된 예시의 예측 정확도를 향상시켰다: 그림 4는 기본 모델에서 잘못된 예측을 수정한 결과를 보여주며, 초록색 레이블은 이전에 잘못된 예측이 수정된 것을 나타낸다.
• AlexNet의 경우 CNN 트리 훈련은 약 150만 번의 반복을 필요로 하였고, GoogleNet의 경우 480만 번으로, 각각 기본 모델의 5배와 2배에 해당하며, 12개의 GPU를 사용해 약 1.5~2일 만에 훈련이 완료되었다.
• AlexNet의 경우 추론 시간이 2배로 증가했고, GoogleNet의 경우 1배로 증가했으며, 이는 트리 내 여러 CNN에서 각 샘플을 평가해야 하기 때문이다. 그러나 정확도 향상 덕분에 추론 비용이 정당화된다.