[논문 리뷰] Semantic Feature Augmentation in Few-shot Learning.

Zitian Chen, Yanwei Fu외 4명|arXiv (Cornell University)|2018. 04. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 80인용 수 48

한 줄 요약

이 논문은 소수의 샘플만 있는 환경에서의 데이터 부족 문제를 해결하기 위해 의미론적 공간에서 다양한 인스턴스 특징을 생성하는 이중 TriNet 오토인코더를 통한 의미론적 특징 증강 기법을 제안한다. 깊이 있는 CNN 특징을 의미론적 공간으로 매핑하고, 여기에 증강을 적용한 후 다시 이미지 공간으로 복원함으로써, 복잡한 의미론적 정보를 반영한 특징 분포를 통해 소수의 샘플 학습 성능을 크게 향상시킨다.

ABSTRACT

A fundamental problem with few-shot learning is the scarcity of data in training. A natural solution to alleviate this scarcity is to augment the existing images for each training class. However, directly augmenting samples in image space may not necessarily, nor sufficiently, explore the intra-class variation. To this end, we propose to directly synthesize instance features by leveraging the semantics of each class. Essentially, a novel auto-encoder network dual TriNet, is proposed for feature augmentation. The encoder TriNet projects multi-layer visual features of deep CNNs into the semantic space. In this space, data augmentation is induced, and the augmented instance representation is projected back into the image feature spaces by the decoder TriNet. Two data argumentation strategies in the semantic space are explored; notably these seemingly simple augmentations in semantic space result in complex augmented feature distributions in the image feature space, resulting in substantially better performance. The code and models of our paper will be published on: this https URL

연구 동기 및 목표

• 소수의 샘플 학습에서의 데이터 부족 문제를 해결하기 위해 더 대표성 있고 다양한 특징을 생성하는 것.
• 의미론적 공간에서의 특징 증강이 기존의 이미지 공간 증강보다 더 나은 일반화 성능을 보이는지 탐구하는 것.
• 시각적 특징을 의미론적 공간으로 매핑하고 다시 원래의 이미지 특징 공간으로 복원할 수 있는 깊이 신경망 오토인코더 프레임워크를 개발하는 것.
• 표준 소수의 샘플 학습 벤치마크에서 의미론적 공간 증강의 효과를 평가하는 것.

제안 방법

• 다중 레이어 CNN 특징을 의미론적 공간으로 매핑하는 인코더 TriNet으로 구성된 이중 TriNet 아키텍처를 제안한다.
• 디코더 TriNet은 증강된 특징을 원래의 이미지 특징 공간으로 복원한다.
• 의미론적 공간에서 두 가지 데이터 증강 전략을 적용하여 클래스의 의미를 유지하면서 다양한 표현을 생성한다.
• 깊이 신경망 특징의 계층적 구조를 활용하여 인코딩 및 디코딩 과정에서 의미 정보가 유지되도록 보장한다.
• 원시 이미지가 아닌 잠재 의미론적 특징에 직접 증강을 적용함으로써 더 의미론적으로 일관된 변형을 가능하게 한다.
• 재구성 오차를 최소화하면서도 증강된 특징 내에서 클래스 간 유사성을 유지하는 방식으로 엔드 투 엔드로 프레임워크를 훈련한다.

실험 결과

연구 질문

• RQ1 의미론적 공간에서의 특징 증강이 이미지 공간 증강보다 소수의 샘플 학습에서 더 나은 일반화 성능을 보일 수 있는가?
• RQ2 다양한 의미론적 공간 증강 전략이 이미지 공간에서 학습된 특징의 분포에 어떤 영향을 미치는가?
• RQ3 제안된 오토인코더 아키텍처가 다양한 특징 변형을 생성하면서도 의미론적 정체성을 얼마나 잘 유지하는가?
• RQ4 의미론적 특징 증강이 표준 벤치마크에서 소수의 샘플 분류 정확도를 향상시키는가?

주요 결과

• 제안된 방법은 표준 소수의 샘플 학습 벤치마크에서 최신 기준 성능을 달성하여 표준 데이터 증강 기반 기준 모델들을 크게 앞서간다.
• 의미론적 공간 증강은 단순한 증강 연산을 사용하더라도 이미지 특징 공간에서 더 다양하고 구분력 있는 특징 분포를 만들어낸다.
• 이중 TriNet 오토인코더는 증강된 샘플 간 의미론적 일관성을 유지하면서도 특징을 효과적으로 재구성하는 데 성공한다.
• 이 방법은 5-way 및 10-way 설정을 포함한 다양한 소수의 샘플 학습 설정에서 뛰어난 강건성을 보였다.
• 제거 분석 결과 의미론적 공간 증강이 이미지 공간 증강보다 모델의 일반화 성능 향상에 더 효과적임을 확인하였다.
• 코드와 모델은 재현 가능성 및 향후 연구를 지원하기 위해 공개되었다.