[논문 리뷰] SEGA: Semantic Guided Attention on Visual Prototype for Few-Shot Learning

Fengyuan Yang, Ruiping Wang외 1명|arXiv (Cornell University)|2021. 11. 08.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

SEGA는 소수 샘플 학습에서 시각적 특징 주의를 가이드하기 위해 클래스 수준의 의미 임베딩을 사용하는 의미 지도형 주의 메커니즘을 제안한다. 이는 분류 가능성을 높이는 프로토타입 표현을 향상시킨다. 의미 사전 지식에서 유도된 카테고리별 주의 벡터를 학습함으로써, SEGA는 miniImageNet, tieredImageNet, CUB, CIFAR-FS에서 최신 기술 수준(SOTA) 성능을 달성하며, 특히 1-shot 설정에서 이전 방법들보다 최대 4.5% 높은 정확도를 기록한다.

ABSTRACT

Teaching machines to recognize a new category based on few training samples especially only one remains challenging owing to the incomprehensive understanding of the novel category caused by the lack of data. However, human can learn new classes quickly even given few samples since human can tell what discriminative features should be focused on about each category based on both the visual and semantic prior knowledge. To better utilize those prior knowledge, we propose the SEmantic Guided Attention (SEGA) mechanism where the semantic knowledge is used to guide the visual perception in a top-down manner about what visual features should be paid attention to when distinguishing a category from the others. As a result, the embedding of the novel class even with few samples can be more discriminative. Concretely, a feature extractor is trained to embed few images of each novel class into a visual prototype with the help of transferring visual prior knowledge from base classes. Then we learn a network that maps semantic knowledge to category-specific attention vectors which will be used to perform feature selection to enhance the visual prototypes. Extensive experiments on miniImageNet, tieredImageNet, CIFAR-FS, and CUB indicate that our semantic guided attention realizes anticipated function and outperforms state-of-the-art results.

연구 동기 및 목표

• 소수 샘플 학습에서 시각적 데이터가 부족한 문제를 해결하기 위해 의미 사전 지식을 활용해 특징 표현을 향상시키는 것.
• 신규 클래스를 위한 핵심 시각적 특징을 선택하기 위해 의미 임베딩에서 상향식 주의 가이드를 가능하게 하는 것.
• 의미 임베딩에서 카테고리별 주의 벡터로의 미분 가능 맵핑을 학습하는 것.
• 각 클래스에 대해 하나 또는 몇 개의 샘플만 있을 때도 시각적 프로토타입의 일반화 능력과 구분 능력을 향상시키는 것.
• 의미 지식이 인간과 유사한 주의 기반 방식으로 시각 인식을 효과적으로 유도할 수 있음을 검증하는 것.

제안 방법

• 기본 클래스에서 훈련된 특징 추출기가 소수 샘플 이미지를 시각적 프로토타입으로 매핑한다.
• 학습 가능한 네트워크가 클래스 의미 임베딩(예: 텍스트 설명 또는 클래스 이름 등)을 카테고리별 주의 벡터로 매핑한다.
• 추론 과정에서 주의 벡터는 신규 클래스 이름으로부터 생성되며, 요소별 곱셈을 통해 시각적 프로토타입에 적용되어 구분 가능한 특징을 강조한다.
• 주의 메커니즘은 핵심 시각 차원을 강조함으로써 특징 선택을 수행하고, 프로토타입의 구분 능력을 향상시킨다.
• 프레임워크는 기본 클래스에서 교차 엔트로피 손실을 사용해 엔드 투 엔드로 훈련되며, 주의 지도는 대비 학습 또는 거리 기반 학습을 통해 제공된다.
• 이 방법은 잘 일반화된다: 기본 클래스에서 학습된 의미-시각 정렬이 신규 클래스로 효과적으로 전이된다.

실험 결과

연구 질문

• RQ1 의미 지식이 소수 샘플 학습에서 시각적 특징 주의를 효과적으로 유도하는 데 사용될 수 있는가?
• RQ2 의미에 의해 유도된 주의가 소수의 샘플만 있는 경우 시각적 프로토타입의 구분 능력을 향상시키는가?
• RQ3 의미 지도형 주의는 순수하게 시각적 특징이나 프로토타입 재구성에 의존하는 기준 방법과 비교해 어떻게 성능을 냅니다?
• RQ4 의미 공간과 시각 공간 간의 정렬이 기본 클래스에서 신규 클래스로 얼마나 잘 일반화되는가?
• RQ5 샘플 수가 증가함에 따라 의미 지도형 주의의 이점이 감소하는가?

주요 결과

• SEGA는 5-way 1-shot 설정에서 miniImageNet에서 69.04%의 top-1 정확도를 기록하며, 이전 SOTA인 AM3를 3.74% 초월한다.
• tieredImageNet에서는 5-way 1-shot에서 79.03%의 정확도를 기록하며, 다음으로 우수한 방법보다 0.91% 높다.
• CUB에서는 5-way 1-shot에서 84.57%의 정확도를 기록하며, 이전 SOTA인 FEAT(68.87%)와 DeepEMD(75.65%)를 크게 앞서간다.
• CIFAR-FS에서는 5-way 1-shot에서 78.45%의 정확도를 기록하며, MetaOptNet(72.0%)과 RFS(73.9%)를 초월한다.
• Grad-CAM 시각화 결과, SEGA는 동물의 신체 부위와 같이 의미적으로 관련된 영역에 주목하는 반면, 기준 방법들은 종종 배경 노이즈에 주목한다.
• 의미 지도형 주의의 성능 향상은 1-shot 설정에서 가장 두드러지며, 샷 수가 증가함에 따라 감소함을 확인하여, 의미 주의가 시각적 프로토타입의 불안정성 보완에 기여함을 시사한다.