[논문 리뷰] Learning where to look: Semantic-Guided Multi-Attention Localization for Zero-Shot Learning.

Yizhe Zhu, Jianwen Xie외 3명|arXiv (Cornell University)|2019. 03. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 14인용 수 11

한 줄 요약

이 논문은 인간의 애너테이션 없이도 분류 가능한 객체 부분을 자동으로 식별하는 의미론적 지도 다중 주의 분류 모델을 제안한다. 임베딩 소프트맥스 손실과 클래스 중심 트리플릿 손실을 통해 전역 및 국소 특징을 동시에 최적화함으로써, 이론적 성능을 향상시켜 세 가지 벤치마크에서 최신 기술 수준을 달성한다.

ABSTRACT

Zero-shot learning extends the conventional object classification to the unseen class recognition by introducing semantic representations of classes. Existing approaches predominantly focus on learning the proper mapping function for visual-semantic embedding, while neglecting the effect of learning discriminative visual features. In this paper, we study the significance of the discriminative region localization. We propose a semantic-guided multi-attention localization model, which automatically discovers the most discriminative parts of objects for zero-shot learning without any human annotations. Our model jointly learns cooperative global and local features from the whole object as well as the detected parts to categorize objects based on semantic descriptions. Moreover, with the joint supervision of embedding softmax loss and class-center triplet loss, the model is encouraged to learn features with high inter-class dispersion and intra-class compactness. Through comprehensive experiments on three widely used zero-shot learning benchmarks, we show the efficacy of the multi-attention localization and our proposed approach improves the state-of-the-art results by a considerable margin.

연구 동기 및 목표

• 기존의 제로샷 학습 방법이 시각-의미 맵핑에 집중하면서도 분류 가능한 특징 학습을 간과하는 한계를 해결하기 위해.
• 사람이 애너테이션한 바운딩 박스나 부분 애너테이션 없이도 새로운 클래스에 대해 가장 분류 가능한 객체 부분을 자동으로 국소화하기 위해.
• 의미론적 지도 하에 전역 및 국소 특징을 함께 학습함으로써 제로샷 인식 성능을 향상시키기 위해.
• 전체 특징 공간에서의 클래스 간 산란도 증가와 클래스 내 응집도 향상을 위해 공동 손실 최적화를 통해 특징 품질을 향상시키기 위해.

제안 방법

• 모델은 입력 이미지에서 의미론적 기술만을 사용하여 분류 가능한 객체 부분을 자동으로 국소화하기 위해 다중 주의 메커니즘을 활용한다.
• 전체 이미지에서의 전역 특징과 탐지된 부분에서의 국소 특징을 함께 학습하여 표현 품질을 향상시킨다.
• 시각적 특징을 의미론적 임베딩과 정렬하기 위해 임베딩 소프트맥스 손실을 사용한다.
• 특징 공간에서의 클래스 간 분리도 강화와 클래스 내 응집도 향상을 위해 클래스 중심 트리플릿 손실을 도입한다.
• 두 손실 함수의 공동 지도 하에 엔드 투 엔드로 훈련되어 분류 가능한 특징 학습을 최적화한다.
• 클래스의 의미론적 표현을 사용하여 주의 국소화와 특징 학습을 안내하는 지도 신호로 활용한다.

실험 결과

연구 질문

• RQ1 사람이 애너테이션한 부분 위치 없이도 분류 가능한 부분의 자동 국소화가 제로샷 인식 성능 향상에 기여할 수 있는가?
• RQ2 의미론적 지도 하에 전역 및 국소 특징을 공동 최적화하면 제로샷 학습에서 특징의 구별 능력이 어떻게 향상되는가?
• RQ3 임베딩 소프트맥스 손실과 클래스 중심 트리플릿 손실을 조합함으로써 클래스 간 분리도와 클래스 내 응집도는 어느 정도 향상되는가?
• RQ4 제안된 방법은 표준 제로샷 학습 벤치마크에서 최신 기술 수준의 접근법과 비교해 어떻게 성능을 냅니다?

주요 결과

• 제안된 방법은 널리 사용되는 세 가지 제로샷 학습 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 다중 주의 국소화 메커니즘은 인간이 애너테이션한 부분 애너테이션 없이도 분류 가능한 부분을 성공적으로 식별한다.
• 임베딩 소프트맥스 손실과 클래스 중심 트리플릿 손실을 공동으로 사용함으로써 더 응집된 클래스 내 특징과 더 나은 클래스 간 분리도를 달성한다.
• 기존 방법에 비해 뚜렷한 성능 향상을 보이며, 표준 제로샷 학습 데이터셋에서 성능 향상이 보고되었다.