[논문 리뷰] Object-Level Representation Learning for Few-Shot Image Classification

Liangqu Long, Wei Wang외 4명|arXiv (Cornell University)|2018. 05. 28.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 대규모 보조 데이터셋에서 학습한 개체 수준 관계를 활용하여 소수의 예시로도 이미지 분류 성능을 향상시키는 메트릭 기반 접근법인 개체 수준 소수 학습(Object-Level Few-Shot Learning, OLFSL)을 제안한다. 이미지 간의 개체 특징을 추출하고 비교하며, 이를 바탕으로 개체 수준의 관계를 집계하여 이미지 수준의 유사도 점수를 도출함으로써, 미세조정 없이도 Omniglot에서 최고 성능을 기록하고, MiniImageNet에서는 5-way 1-shot 설정에서 8.5%, 5-way 5-shot 설정에서 2.7%의 절대적 성능 향상을 달성한다.

ABSTRACT

Few-shot learning that trains image classifiers over few labeled examples per category is a challenging task. In this paper, we propose to exploit an additional big dataset with different categories to improve the accuracy of few-shot learning over our target dataset. Our approach is based on the observation that images can be decomposed into objects, which may appear in images from both the additional dataset and our target dataset. We use the object-level relation learned from the additional dataset to infer the similarity of images in our target dataset with unseen categories. Nearest neighbor search is applied to do image classification, which is a non-parametric model and thus does not need fine-tuning. We evaluate our algorithm on two popular datasets, namely Omniglot and MiniImagenet. We obtain 8.5\% and 2.7\% absolute improvements for 5-way 1-shot and 5-way 5-shot experiments on MiniImagenet, respectively. Source code will be published upon acceptance.

연구 동기 및 목표

• 클래스당 레이블이 제한된 예시로 인해 딥 네트워크가 어려움을 겪는 소수 학습 이미지 분류 문제를 해결하기 위해.
• 다양한 데이터셋에서 공통적으로 사용되는 개체 수준의 구성 요소를 활용하여 소수 학습의 일반화 성능을 향상시키기 위해.
• 분류를 위해 최근접 이웃 검색을 사용하는 비모수적이고, 미세조정이 없는 방법을 개발하기 위해.
• 대규모 보조 데이터셋에서 일반화 가능한 개체 수준의 관계를 학습하여, 새로운 카테고리에 대한 이미지 유사도를 추론하기 위해.
• Omniglot과 MiniImageNet과 같은 표준 소수 학습 벤치마크에서 최고 성능을 달성하기 위해.

제안 방법

• OLFSL는 세 모듈로 구성된 프레임워크를 사용한다: 이미지에서 개체 특징을 추출하기 위한 특징 추출기 $\mathcal{F}_{\Phi}(x)$를 통한 표현 학습.
• 두 이미지의 개체 특징 쌍을 비교하여 관계를 학습하는 관계 네트워크 $\mathcal{R}_{\theta}(a,b)$를 활용하여 개체 수준의 관계를 학습한다.
• 모든 개체 쌍의 관계가 유사도 네트워크 $\mathcal{S}_{\phi}(\cdot)\mapsto s_{ab}$를 통해 하나의 이미지 수준의 유사도 점수로 집계된다.
• 모델은 타겟 소수 학습 데이터셋에 적용되기 전에 대규모 보조 데이터셋(예: ImageNet)에서 사전 훈련되어 일반적인 개체 수준의 관계를 학습한다.
• 추론 단계에서는 학습된 유사도 점수를 기반으로 타겟 데이터셋에서 최근접 이웃 검색을 수행하며, 이로 인해 미세조정이 필요 없다.
• 이 방법은 모델에 종속적이지 않고 확장성이 있으며, 오직 특징 추출과 관계 매칭에 의존한다.

실험 결과

연구 질문

• RQ1 다양하고 대규모인 데이터셋에서 학습한 개체 수준의 관계가 새로운 카테고리에 대한 소수 학습 이미지 분류에 도움이 될 수 있는가?
• RQ2 소수 학습 환경에서 전체 이미지 임베딩보다 구성 요소 수준의 비교를 통한 이미지 유사도 모델링이 왜 더 우수한가?
• RQ3 비모수적이고, 미세조정이 없는 접근법이 소수 학습에서 최고 성능을 달성할 수 있는 정도는 어느 정도인가?
• RQ4 개체 수준의 표현을 사용할 경우 다양한 소수 학습 벤치마크 간의 일반화 성능이 향상되는가?
• RQ5 이 방법은 이미지 해상도와 추출된 개체 영역의 수에 얼마나 민감한가?

주요 결과

• OLFSL는 Omniglot 데이터셋에서 기존 방법들을 능가하는 최고 성능을 기록한다.
• MiniImageNet에서는 5-way 1-shot 분류에서 8.5%의 절대적 성능 향상을, 5-way 5-shot 분류에서는 2.7%의 성능 향상을 달성한다.
• 이미지 해상도에 대해 강건한 성능을 보이며, 84x84 대신 224x224 입력 크기를 사용할 경우 성능 저하가 최소한이다.
• 개체 영역의 수($d^2$)는 정확도에 측정 가능한 영향을 미치지만 극단적인 영향은 없으며, 최적의 성능은 $d=10$에서 관찰된다.
• 모델은 미세조정 없이도 최근접 이웃 검색을 통해 사전에 계산된 유사도 점수만으로 효과적으로 작동한다.
• 이 방법은 데이터셋 간의 일반화 성능이 뛰어나며, 보조 데이터셋에서의 제로샷 전이 성능이 뛰어나다.