[논문 리뷰] Rich Semantics Improve Few-shot Learning

Mohamed Afham, Salman Khan외 3명|arXiv (Cornell University)|2021. 04. 26.

Domain Adaptation and Few-Shot Learning인용 수 12

한 줄 요약

이 논문은 클래스 수준의 자연어 기술을 보조 학습 신호로 사용하여 일반화 성능을 향상시키는 few-shot learning 프레임워크 RS-FSL을 제안한다. 하이브리드 시각-의미적 프로토타입에서 자연어 기술을 생성하기 위해 양방향 Transformer를 훈련시킴으로써, 모델은 더 분리되고 인간이 이해할 수 있는 표현을 학습하게 되며, 이는 정규화 역할을 하여 표준 few-shot 벤치마크에서 베이스라인 대비 최대 5.97% 향상된 정확도를 달성한다.

ABSTRACT

Human learning benefits from multi-modal inputs that often appear as rich semantics (e.g., description of an object's attributes while learning about it). This enables us to learn generalizable concepts from very limited visual examples. However, current few-shot learning (FSL) methods use numerical class labels to denote object classes which do not provide rich semantic meanings about the learned concepts. In this work, we show that by using 'class-level' language descriptions, that can be acquired with minimal annotation cost, we can improve the FSL performance. Given a support set and queries, our main idea is to create a bottleneck visual feature (hybrid prototype) which is then used to generate language descriptions of the classes as an auxiliary task during training. We develop a Transformer based forward and backward encoding mechanism to relate visual and semantic tokens that can encode intricate relationships between the two modalities. Forcing the prototypes to retain semantic information about class description acts as a regularizer on the visual features, improving their generalization to novel classes at inference. Furthermore, this strategy imposes a human prior on the learned representations, ensuring that the model is faithfully relating visual and semantic concepts, thereby improving model interpretability. Our experiments on four datasets and ablation studies show the benefit of effectively modeling rich semantics for FSL.

연구 동기 및 목표

• 수치적 클래스 레이블만을 사용할 경우 발생하는 의미 갭 문제를 해결하기 위해.
• 훈련 중에 저비용이며 인간이 읽을 수 있는 클래스 수준의 기술을 통합하여 새로운 클래스로의 일반화 성능을 향상시키기 위해.
• 지원 세트 프로토타입의 자연어 기술을 예측하도록 하여 시각적 특징 학습의 일관성을 강제하기 위해.
• 생성된 기술을 통해 어떤 특징이 잘못 분류되었는지 분석할 수 있도록 모델의 해석 가능성을 향상시키기 위해.
• 아키텍처의 대대적 개선 없이도 여러 FSL 베이스라인에서 성능 향상을 이끌 수 있는 즉시 사용 가능한 모듈을 제공하기 위해.

제안 방법

• 학습 가능한 집합 메커니즘을 사용하여 지원 이미지와 쿼리 이미지의 특징을 융합하여 하이브리드 시각-의미적 프로토타입을 구성한다.
• 하이브리드 프로토타입에서 자연어 기술을 생성하기 위해 양방향 Transformer 디코더를 훈련시으며, 시각적 토큰과 의미적 토큰 간의 장거리 의존성을 모델링한다.
• 언어 기술 생성을 보조 작업으로 사용하여 시각적 특징 학습을 정규화하고 일반화 성능을 향상시킨다.
• 시각적 특징과 언어 토큰 간의 이중 방향 상호작용을 가능하게 하기 위해 Transformer에 이중 방향 어텐션 메커니즘을 구현한다.
• 언어 생성 작업에 대한 크로스 엔트로피 손실을 사용하여 모델을 엔드 투 엔드로 훈련시키며, 동시에 주 분류 목표를 유지한다.
• 추론 시 언어 디코더를 제거하지만, 예측 결과의 오류 분석 및 해석 가능성 유지 목적으로 유지한다.

실험 결과

연구 질문

• RQ1 자연어 기술을 통해 풍부한 의미적 특징을 모델링하면 few-shot 일반화 성능이 향상되는가?
• RQ2 클래스 수준의 기술을 보조 작업으로 사용할 경우 시각적 특징의 분류 능력과 전이 가능성은 어떻게 영향을 받는가?
• RQ3 이중 방향 대비 단방향 언어 디코딩이 few-shot 성능에 미치는 영향은 무엇인가?
• RQ4 클래스 수준의 기술 수가 모델 정확도와 포화도에 미치는 영향은 어떠한가?
• RQ5 제안된 방법이 아키텍처 변경 없이 기존 FSL 베이스라인에 효과적으로 통합될 수 있는가?

주요 결과

• 제안된 RS-FSL 방법은 CUB 데이터셋에서 5-way 1-shot 평균 정확도 63.86%를 달성하였으며, 의미 정보가 없는 베이스라인 ProtoNet 대비 5.97% 향상되었다.
• 이중 방향 Transformer 디코딩을 사용할 경우 단방향 디코딩 대비 1.83% 성능 향상을 보이며, 시각적 토큰과 언어 토큰 간의 이중 방향 상호작용의 이점이 입증되었다.
• 20개의 클래스 수준 기술에서 성능이 최고에 이르며, 이후에는 수익 감소 현상이 나타나 중간 수준의 기술 수에서 포화 상태에 도달함을 시사한다.
• 두 개의 Transformer 디코더 레이어를 가진 모델이 가장 높은 정확도(63.86%)를 기록하였으며, 더 깊은 모델(3–5 레이어)은 소규모 데이터셋에서 과적합으로 인해 성능이 떨어졌다.
• 기존의 보조 자기지도 학습 기법인 회전 예측, 워드 임베딩, GRU 기반 언어 모델링 대비 각각 4.6%, 3.61%, 2.62%의 성능 향상을 기록하며 우월함을 입증했다.
• 베이스라인 대비 1시간의 훈련 오버헤드(5시간 대비 4시간)가 발생하지만, miniImageNet에서 2%의 성능 향상을 기록하여 유리한 비용-편익 균형을 확보했다.