[논문 리뷰] Deep Triplet Ranking Networks for One-Shot Recognition

Meng Ye, Yuhong Guo|arXiv (Cornell University)|2018. 04. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 25인용 수 31

한 줄 요약

이 논문은 삼중체 순서 매기기 손실을 통해 보편적인 이미지 임베딩을 학습하는 딥 삼중체 순서 매기기 네트워크를 제안하여 일회성 이미지 분류를 가능하게 한다. 데이터 증강을 통해 일회성 예제를 통합하고 삼중체 간의 상대적 유사도를 최적화함으로써, 모델은 Omniglot과 miniImageNet에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Despite the breakthroughs achieved by deep learning models in conventional supervised learning scenarios, their dependence on sufficient labeled training data in each class prevents effective applications of these deep models in situations where labeled training instances for a subset of novel classes are very sparse -- in the extreme case only one instance is available for each class. To tackle this natural and important challenge, one-shot learning, which aims to exploit a set of well labeled base classes to build classifiers for the new target classes that have only one observed instance per class, has recently received increasing attention from the research community. In this paper we propose a novel end-to-end deep triplet ranking network to perform one-shot learning. The proposed approach learns class universal image embeddings on the well labeled base classes under a triplet ranking loss, such that the instances from new classes can be categorized based on their similarity with the one-shot instances in the learned embedding space. Moreover, our approach can naturally incorporate the available one-shot instances from the new classes into the embedding learning process to improve the triplet ranking model. We conduct experiments on two popular datasets for one-shot learning. The results show the proposed approach achieves better performance than the state-of-the- art comparison methods.

연구 동기 및 목표

• 새로운 클래스당 레이블이 하나뿐인 경우에 발생하는 일회성 이미지 분류 문제에 대응한다.
• 절대적 유사도 기반 방법의 한계를 극복하기 위해 삼중체 순서 매기기를 통해 상대적 유사도를 학습한다.
• 합성 데이터 증강을 통해 일회성 예제를 훈련 과정에 통합함으로써 모델의 일반화 능력을 향상시킨다.
• 소수의 샘플로도 인식이 가능한 희소한 샘플과 일회성 인식을 위한 클래스에 관계없이 유용한 임베딩을 학습하는 엔드 투 엔드 딥 러닝 프레임워크를 개발한다.

제안 방법

• 기본 샘플과 양성 샘플 간의 거리가 부정성 샘플과의 거리보다 작아지도록 보장하는 삼중체 순서 매기기 손실을 사용하여 딥 컨volution 신경망을 훈련한다.
• 공유 가중치를 가진 시아모이드 유사 아키텍처를 사용하여 특징 추출을 수행하고, 이후 완전 연결 층을 통해 이미지 임베딩을 생성한다.
• 회전, 스케일링 등의 데이터 증강 기법을 적용하여 합성 예제를 생성함으로써 일회성 예제를 훈련 과정에 통합한다.
• 증강된 일회성 예제를 사용하여 사전 훈련된 삼중체 네트워크를 미세 조정함으로써 임베딩 품질과 일반화 능력을 향상시킨다.
• 분류를 위해 중간 컨볼루션 레이어의 특징을 사용하며, 더 높은 수준의 특징이 더 높은 성능을 낸다.
• 학습된 임베딩을 시각화하기 위해 주성분 분석(PCA)을 적용하고, 다양한 방법(시아모이드, 삼중체, 미세 조정된 삼중체) 간의 군집 품질을 비교한다.

실험 결과

연구 질문

• RQ1 절대적 유사도 방법과 비교해 볼 때, 삼중체 순서 매기기를 통한 상대적 유사도 학습이 일회성 분류 성능을 향상시키는가?
• RQ2 훈련 과정에 일회성 예제를 통합함으로써 임베딩 모델의 일반화 능력은 어떻게 영향을 받는가?
• RQ3 더 깊은 레이어에서 유도된 중간 특징 표현은 일회성 분류 정확도에 얼마나 기여하는가?
• RQ4 제안된 방법이 Omniglot과 miniImageNet과 같은 표준 일회성 학습 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 미세 조정을 거친 제안된 딥 삼중체 순서 매기기 네트워크는 Omniglot과 miniImageNet 데이터셋에서 모두 가장 높은 테스트 정확도를 기록하여 기존 최신 기술 수준의 방법들을 능가했다.
• PCA를 통한 임베딩 시각화 결과, 미세 조정된 삼중체 순서 매기기 모델은 5개 클래스 모두에 대해 명확히 분리된 군집을 생성한 반면, 시아모이드 네트워크는 5개 클래스 중 3개를 구분하지 못했다.
• 더 깊은 컨볼루션 레이어에서 유도된 중간 특징(예: conv-4-3)은 얕은 레이어보다 유의미하게 높은 정확도(85.8%)를 기록하여 계층적 추상화의 유용성을 확인했다.
• 완전 연결 레이어(fc-1)는 전체 임베딩 벡터를 사용할 경우 Omniglot에서 최고의 분류 정확도 97.0%를 기록했다.
• 상대적 유사도 학습을 통해 모델은 유사한 클래스 간의 시각적 변형에 더 강건해졌으며, 시각화 결과에서 유사한 문자들 간의 분리가 더 잘 이루어졌다.