[논문 리뷰] Improving One-Shot Learning through Fusing Side Information

Yao-Hung Hubert Tsai, Ruslan Salakhutdinov|arXiv (Cornell University)|2017. 10. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 16인용 수 43

한 줄 요약

이 논문은 구조적 커널 학습 프레임워크를 통해 다중 유형의 보조 정보—특성, 단어 임베딩, 계층적 관계—를 융합함으로써 소수의 예시로 이미지 분류 성능을 향상시키는 새로운 방법을 제안한다. 데이터 및 클래스 임베딩 간의 종속성을 캡처하는 힐버트-슈미트 독립성 기준(HSIC)을 활용한 레이블 유사도 모델링을 통해 CUB 및 AwA 데이터셋에서 최신 기준 성능을 달성하며, 특히 모든 보조 정보 유형을 융합한 경우에 뚜렷한 성능 향상을 보인다.

ABSTRACT

Deep Neural Networks (DNNs) often struggle with one-shot learning where we have only one or a few labeled training examples per category. In this paper, we argue that by using side information, we may compensate the missing information across classes. We introduce two statistical approaches for fusing side information into data representation learning to improve one-shot learning. First, we propose to enforce the statistical dependency between data representations and multiple types of side information. Second, we introduce an attention mechanism to efficiently treat examples belonging to the 'lots-of-examples' classes as quasi-samples (additional training samples) for 'one-example' classes. We empirically show that our learning architecture improves over traditional softmax regression networks as well as state-of-the-art attentional regression networks on one-shot recognition tasks.

연구 동기 및 목표

• 특성, 단어 임베딩, 계층적 관계와 같은 다양한 보조 정보 소스를 활용하여 일회 학습에서 레이블이 부족한 문제를 해결하고자 한다.
• 구조적 커널을 사용해 데이터 및 클래스 표현 간의 종속성을 모델링하여 소수의 예시 분류에서 일반화 및 강인성을 향상시키고자 한다.
• 이미지 특징에 직접 연결하는 것 대신, 공동 임베딩 학습을 통한 간접 융합 방식이 보조 정보 융합에 효과적인지 탐색하고자 한다.
• 다양한 보조 정보 조합이 모델 성능에 미치는 영향을 평가하고 최적의 융합 전략을 규명하고자 한다.
• 모델 추론 시 모든 훈련 및 테스트 클래스를 포함하는 레이블 검색 공간으로 확장하는 것이 실제 운영 환경 시나리오를 시뮬레이션하는 데 실용적인지 조사하고자 한다.

제안 방법

• 이 방법은 이중 단계 프레임워크를 사용한다: 먼저 사전 훈련된 GoogLeNet을 사용해 이미지 특징을 추출하고, 이후 학습 가능한 비선형 변환을 통해 저차원 공간으로 매핑한다.
• 레이블 예측은 소프트맥스 회귀(파arametric) 또는 주의 기반 회귀(non-parametric) 방식을 사용하며, 후자는 지원 집합 샘플의 가중치를 계산하기 위해 학습된 주의 커널을 활용한다.
• 보조 정보는 데이터 및 클래스 표현 간의 종속성을 힐버트-슈미트 독립성 기준(HSIC)을 통해 강제하는 공유 임베딩 공간을 학습함으로써 간접적으로 융합된다.
• HSIC 기반 손실 함수는 다양한 보조 정보 유형—특성(att), word2vec(w2v), GloVe(glo), 계층적 관계(hie)—를 사용해 클래스 간 관계를 캡처하는 레이블-유사도 커널을 학습하도록 모델을 유도한다.
• 모델은 Adam 최적화를 사용해 엔드 투 엔드로 훈련되며, 무게 조정 하이퍼파rameter α = 0.1을 사용하고, 소프트맥스의 경우 500 반복, 주의 기반 회귀의 경우 100 반복 내에 수렴한다.
• 모델은 레이블 공간을 모든 클래스로 확장함으로써 표준 및 일반화된 일회 학습을 모두 지원한다.

실험 결과

연구 질문

• RQ1 특성, 단어 임베딩, 계층적 관계와 같은 다중 보조 정보 유형의 융합이 소수의 예시 분류 성능에 어떤 영향을 미치는가?
• RQ2 이미지 특징에 직접 연결하는 것보다 커널 학습을 통한 간접 융합 방식이 성능을 더 높일 수 있는가?
• RQ3 각 보조 정보 유형이 정확도에 기여하는 비율은 어떻게 되며, 최적의 조합은 무엇인가?
• RQ4 모든 훈련 및 테스트 클래스를 포함하는 레이블 검색 공간을 확장하면 일회 학습 성능에 어떤 영향을 미치는가?
• RQ5 제안된 HSIC 기반 방법은 ReViSE 및 표준 주의 기반 네트워크와 같은 기존 방법과 비교해 소수의 예시 인식에서 어떤가?

주요 결과

• 모든 보조 정보(att, w2v, glo, hie)를 포함한 제안된 HSIC 기반 방법은 AwA에서 76.98%의 정확도, CUB에서 33.75%의 정확도를 기록하며, 보조 정보 없이 훈련된 베이스라인에 비해 뚜렷한 성능 향상을 보였다.
• HSIC 융합을 사용한 주의 기반 회귀는 AwA에서 76.98%, CUB에서 33.75%의 정확도를 기록했으며, 보조 정보 없이 소프트맥스를 사용한 최고의 베이스라인에 비해 각각 10.59%, 7.82% 높은 성능을 보였다.
• 이미지 특징에 특성을 직접 연결하는 방식(연결)은 AwA에서 63.15%의 정확도를 기록했지만, 제안된 간접 융합 방법은 70.08%의 정확도를 기록하여 구조적 임베딩 학습의 우수성을 입증했다.
• 모든 보조 정보 유형이 가용할 때도 어느 하나의 유형이 항상 우세하지는 않으며, 성능은 조합에 따라 달라지므로 자료 간 비선형 상호작용이 존재함을 시사한다.
• 모든 클래스를 포함하는 레이블 검색 공간으로 확장하면 성능이 심각하게 저하된다—예를 들어 AwA에서 76.98%에서 28.89%로 떨어짐—이는 더 큰 공간에서 훈련 및 테스트 클래스 간 혼동이 발생하기 때문이다.
• ReViSE의 CUB 벤치마크에서 85.2%의 정확도를 기록하여 ReViSE의 86.2%에 근접한 성능을 보여, 최신 기술 수준의 방법과 경쟁력을 가짐을 입증했다.