[논문 리뷰] Zero-Shot Fine-Grained Classification by Deep Feature Learning with Semantics

Aoxue Li, Zhiwu Lu외 4명|arXiv (Cornell University)|2017. 07. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 21인용 수 4

한 줄 요약

이 논문은 계층적 의미 구조와 도메인 적응을 활용하여 분류 가능한 깊은 특징을 학습하고, 의미적 방향성 그래프에서 레이블 전파를 수행하는 이단계 프레임워크를 제안한다. 이는 CUB-200-2011과 Flowers-102에서 최신 기술을 초월하는 성능을 달성하며, 특히 약한 지도 학습 설정에서 뚜렷한 우월성을 보인다.

ABSTRACT

Fine-grained image classification, which aims to distinguish images with subtle distinctions, is a challenging task due to two main issues: lack of sufficient training data for every class and difficulty in learning discriminative features for representation. In this paper, to address the two issues, we propose a two-phase framework for recognizing images from unseen fine-grained classes, i.e. zero-shot fine-grained classification. In the first feature learning phase, we finetune deep convolutional neural networks using hierarchical semantic structure among fine-grained classes to extract discriminative deep visual features. Meanwhile, a domain adaptation structure is induced into deep convolutional neural networks to avoid domain shift from training data to test data. In the second label inference phase, a semantic directed graph is constructed over attributes of fine-grained classes. Based on this graph, we develop a label propagation algorithm to infer the labels of images in the unseen classes. Experimental results on two benchmark datasets demonstrate that our model outperforms the state-of-the-art zero-shot learning models. In addition, the features obtained by our feature learning model also yield significant gains when they are used by other zero-shot learning models, which shows the flexility of our model in zero-shot fine-grained classification.

연구 동기 및 목표

• 클래스당 훈련 데이터가 부족한 상황에서의 세분화 이미지 분류 과제를 해결하기 위해.
• 세분화 클래스 간 계층적 의미 구조를 통합하여 제로샷 학습에서 특징의 구별 능력을 향상시키기 위해.
• 제로샷 설정에서 훈련 데이터와 테스트 데이터 간의 도메인 이동을 줄이기 위해 도메인 적응을 활용하기 위해.
• 단지 의미적 속성과 학습된 깊은 특징만을 사용하여 알려지지 않은 세분화 클래스를 정확하게 분류할 수 있도록 하기 위해.
• 다양한 제로샷 학습 모델에 걸쳐 성능을 향상시키는 유연한 특징 학습 방법을 개발하기 위해.

제안 방법

• 분류 계층적 의미 구조(예: 위키백과에서 유래한 체계적 관계)를 기반으로 VGG-16Net을 미세조정하여 특징 학습을 이끌기 위해.
• 훈련 데이터와 제로샷 테스트 데이터 간의 도메인 이동을 줄이기 위해 딥 네트워크에 도메인 적응 서브넷을 통합하기 위해.
• 세분화된 카테고리 간의 관계를 모델링하기 위해 클래스 속성에 기반한 의미적 방향성 그래프를 구축하기 위해.
• 첫 번째 단계에서 학습된 깊은 특징을 사용하여 의미적 방향성 그래프에서 레이블 전파 알고리즘을 적용하여 알려지지 않은 클래스 레이블을 추론하기 위해.
• 최종 레이어에서의 다중 수준 특징(conv5, fc6, fc7)을 조합하여 표현력을 향상시키기 위해.
• 비용이 많이 드는 부위 앵커파이팅 또는 바운딩 박스를 피하기 위해 이미지 수준의 레이블과 텍스트적 속성만 사용하기 위해.

실험 결과

연구 질문

• RQ1 세분화된 클래스 간의 계층적 의미 구조가 제로샷 세분화 이미지 분류에서 특징 학습에 기여하는가?
• RQ2 도메인 적응은 제로샷 세분화 인식에서 도메인 이동을 줄이는데 얼마나 효과적인가?
• RQ3 클래스 속성에 기반한 의미적 방향성 그래프는 알려지지 않은 세분화된 클래스에 대한 레이블 추론을 향상시키는가?
• RQ4 제안된 특징 학습 방법은 다양한 제로샷 학습 모델에 일반화되는가?
• RQ5 이 방법은 이미지 수준의 레이블과 텍스트적 속성만을 사용하는 약한 지도 학습 설정에서 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 CUB-200-2011에서 56.5%의 정확도를 달성하여 동일한 설정에서 이전 최신 기술(54.2%)을 뛰어넘었다.
• Flowers-102에서는 약한 지도 학습 설정에서 49.5%의 정확도를 기록하여 부위 수준의 지도 학습을 사용한 이전 방법들을 압도했다.
• 특징 학습 구성 요소 자체만으로도 다양한 기본 제로샷 학습 모델에서 성능 향상을 이끌어내어 그 일반화 능력을 입증했다.
• 절단 실험 결과, 계층적 분류 서브넷과 도메인 적응 구조가 최적 성능을 내기 위해 필수적임을 확인했다.
• 의미적 방향성 그래프에서의 레이블 전파가 분류 가능한 특징과 결합될 경우, 제로샷 일반화 성능을 크게 향상시켰다.
• 부위 수준의 앵커파이팅이 없어도 강력한 성능을 내어, 자원이 제한된 환경에서의 효율성과 실용성을 입증했다.