[논문 리뷰] Unsupervised Part Mining for Fine-grained Image Classification

Jian Zhang, Runsheng Zhang외 2명|arXiv (Cornell University)|2019. 02. 26.

Advanced Neural Network Applications참고 문헌 43인용 수 7

한 줄 요약

이 논문은 사전 훈련된 CNN의 특징 맵에서 패턴 마이닝을 사용하여 레이블이 전혀 없는 상태에서 분류에 유의미한 국소적 특징을 자동으로 추출하는 비지도 부분 마이닝(UPM) 방법을 제안한다. 빈도 높은 동시 발생 패턴을 발견하고 군집화함으로써 분류 정확도를 향상시키는 핵심적인 부분을 식별한다. CUB-200-2011, Stanford Cars, FGVC-Aircraft 데이터셋에서 각각 92.3% 및 90.0%의 상위-1 정확도를 기록하며 최신 기술 수준을 초월하며, 이미지 수준 또는 개체 수준의 레이블이 필요한 기존 방법들을 능가한다.

ABSTRACT

Fine-grained image classification remains challenging due to the large intra-class variance and small inter-class variance. Since the subtle visual differences are only in local regions of discriminative parts among subcategories, part localization is a key issue for fine-grained image classification. Most existing approaches localize object or parts in an image with object or part annotations, which are expensive and labor-consuming. To tackle this issue, we propose a fully unsupervised part mining (UPM) approach to localize the discriminative parts without even image-level annotations, which largely improves the fine-grained classification performance. We first utilize pattern mining techniques to discover frequent patterns, i.e., co-occurrence highlighted regions, in the feature maps extracted from a pre-trained convolutional neural network (CNN) model. Inspired by the fact that these relevant meaningful patterns typically hold appearance and spatial consistency, we then cluster the mined regions to obtain the cluster centers and the discriminative parts surrounding the cluster centers are generated. Importantly, any annotations and sophisticated training procedures are not used in our proposed part localization approach. Finally, a multi-stream classification network is built for aggregating the original, object-level and part-level features simultaneously. Compared with other state-of-the-art approaches, our UPM approach achieves the competitive performance.

연구 동기 및 목표

• 미세 분류 문제는 미세한 국소적 차이로 인해 높은 내부 클래스 변동성과 낮은 외부 클래스 변동성을 겪는다.
• 부분 또는 개체의 경계 박스를 수동으로 레이블링하는 데 드는 비용을 줄이고 스케일업 가능성을 높이기 위해, 이러한 레이블이 없는 부분 국소화 기술이 필요하다.
• 이미지 수준의 레이블이 전혀 없이 사전 훈련된 CNN 특징과 패턴 마이닝을 이용해 완전히 비지도 방식으로 분류에 기여하는 핵심 부분을 국소화하는 방법을 개발한다.
• 다중 스트림 네트워크를 통해 전역 및 개체 수준 특징과 함께 부분 수준 특징을 통합함으로써 분류 성능을 향상시킨다.

제안 방법

• 사전 훈련된 CNN(예: VGG-16 또는 ResNet-50)의 여러 합성곱 레이어에서 특징을 추출한다.
• 특징 맵을 패턴 마이닝에 적합한 거래 형식으로 변환하며, 각 공간 위치를 특징 값의 집합으로 간주한다.
• 빈도 높은 동시 발생 패턴을 발견하기 위해 패턴 마이닝 기법을 적용하며, 이는 특징 공간 내에서 시각적으로 의미 있고 공간적으로 일관된 영역에 해당한다.
• 고빈도 패턴을 k-means를 사용해 군집화하여 군집 중심을 식별하고, 이러한 중심 주변의 국소 영역을 후보로 하는 분류에 기여하는 특징으로 추출한다.
• 국소화된 부분을 부분 수준 특징으로 사용하고, 원본 이미지 및 개체 수준 특징과 함께 다중 스트림 분류 네트워크에 통합한다.
• 전체 네트워크를 엔드 투 엔드로 훈련하여 원본, 개체, 부분 수준 특징에서 유래한 정보를 동시에 최적화함으로써 분류 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 이미지 수준의 레이블조차 없이, 분류에 기여하는 핵심 부분을 효과적으로 국소화할 수 있는가?
• RQ2 CNN 활성화 맵에 대한 패턴 마이닝이 분류 정확도 향상에 기여하는 의미 있는 국소 영역을 신뢰성 있게 식별할 수 있는가?
• RQ3 분류 성능와 훈련 복잡도 측면에서, 비지도 부분 마이닝은 약한 지도 학습 또는 완전 지도 학습 기반의 부분 국소화 기법보다 어떻게 비교되는가?
• RQ4 전역 및 개체 수준 특징과 함께 부분 수준 특징을 통합할 경우, 다양한 미세 분류 기준 데이터셋에서 일관된 성능 향상이 이루어지는가?

주요 결과

• UPM(ResNet-50)은 Stanford Cars 데이터셋에서 92.3%의 상위-1 정확도를 기록하여, 개체 레이블이 있는 FCAN(91.3%)보다 1.0% 높다.
• FGVC-Aircraft 데이터셋에서는 UPM(ResNet-50)이 90.0%의 정확도를 달성하여, 개체 레이블이 있는 MG-CNN(86.6%)보다 3.4% 높고, 객체 레이블이 없는 B-CNN보다는 약 5.9%의 상대적 향상률을 보였다.
• 경계 상자나 부분 레이블을 사용하는 최신 기술 모델들과 비교해도 경쟁 가능한 성능을 기록함으로써, 비지도 부분 마이닝이 지도 학습 기반의 기준 모델을 따라하거나 능가할 수 있음을 입증하였다.
• CUB-200-2011 데이터셋에서 부분 수준 특징을 통합한 다중 스트림 네트워크가 원본 및 개체 스트림 특징의 조합보다 1.0%의 상대적 향상률을 기록하였다.
• 훈련이나 레이블 없이도 사전 훈련된 특징과 패턴 마이닝에 의존함으로써 강력한 성능을 달성하였으며, 이는 실세계 응용에 있어 매우 확장 가능하고 실용적인 방법임을 시사한다.