[논문 리뷰] Goal-Oriented Gaze Estimation for Zero-Shot Learning

Yang Liu, Lei Zhou외 5명|arXiv (Cornell University)|2021. 03. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 77인용 수 8

한 줄 요약

이 논문은 제로샷 러닝을 위한 목표 지향적 시선 추정(Goal-Oriented Gaze Estimation) 기반의 GEM-ZSL을 제안하며, 특성 유도 주의와 인간의 시선 데이터를 활용하여 분류에 유용한 객체 부분을 국소화함으로써 제로샷 인식 성능을 향상시킨다. 이 방법은 시선 인식 주의 모듈을 통해 전역 이미지 특징과 국소적 특성 표현을 동시에 최적화함으로써 CUB, SUN, AWA2 벤치마크에서 최신 기술 수준 또는 경쟁력 있는 성능을 달성한다.

ABSTRACT

Zero-shot learning (ZSL) aims to recognize novel classes by transferring semantic knowledge from seen classes to unseen classes. Since semantic knowledge is built on attributes shared between different classes, which are highly local, strong prior for localization of object attribute is beneficial for visual-semantic embedding. Interestingly, when recognizing unseen images, human would also automatically gaze at regions with certain semantic clue. Therefore, we introduce a novel goal-oriented gaze estimation module (GEM) to improve the discriminative attribute localization based on the class-level attributes for ZSL. We aim to predict the actual human gaze location to get the visual attention regions for recognizing a novel object guided by attribute description. Specifically, the task-dependent attention is learned with the goal-oriented GEM, and the global image features are simultaneously optimized with the regression of local attribute features. Experiments on three ZSL benchmarks, i.e., CUB, SUN and AWA2, show the superiority or competitiveness of our proposed method against the state-of-the-art ZSL methods. The ablation analysis on real gaze data CUB-VWSW also validates the benefits and accuracy of our gaze estimation module. This work implies the promising benefits of collecting human gaze dataset and automatic gaze estimation algorithms on high-level computer vision tasks. The code is available at https://github.com/osierboy/GEM-ZSL.

연구 동기 및 목표

• 미래에 등장할 새로운 클래스를 인식하는 과정에서 인간과 유사한 주의 메커니즘을 활용하여 제로샷 러닝(ZSL) 성능을 향상시키기 위해.
• 기존의 전역 특징이 본래의 클래스와 새로운 클래스 간의 세분화된 특성 표현을 포착하는 데에 한계를 가진다는 문제를 해결하기 위해.
• 인간의 시선 데이터가 제로샷 러닝에서 의미 있는 의미적 특성의 국소화를 위한 강력한 사전 지식으로 기능할 수 있는지 탐색하기 위해.
• 시선 추정과 시각-의미적 임bedding을 통합하여 유연하고 미분 가능한 엔드 투 엔드 학습 가능한 프레임워크를 개발하기 위해.
• 시선 감독이 제로샷 환경에서 특성 국소화와 인식 정확도 향상에 기여하는지 검증하기 위해.

제안 방법

• 특성의 투영된 단어 벡터를 쿼리로 사용하여 이미지 내에서 분류에 효과적인 부분을 주의 기반으로 국소화하는 목표 지향적 시선 추정 모듈(GEM)을 도입한다.
• 이중선형 풀링 기반의 주의 모듈(AM)을 활용하여 의미적 특성 조건부의 영역별 특징을 생성한다.
• 실제 인간의 시선 데이터를 활용하여 예측된 주의 맵을 校정하는 Attention Transition(AT) 모듈을 통합하며, 이를 위해 설계된 시선 손실을 적용하여 국소화 정확도를 향상시킨다.
• 예측된 특징이 알려진 특성 영역과 일치하도록 하기 위해 손실 함수로 평균 제곱 오차(MSE) 손실을 사용하여 손실 지도를 제공함으로써 손실 지도를 통해 속성 국소화(Attrbute Localization, AL) 모듈을 학습시킨다.
• 백본 인코더에서 추출한 전역 이미지 특징과 국소적 특성 표현을 코사인 거리 공간에서 동시에 최적화하여 클래스 내 분산을 줄이고 제로샷 일반화 성능을 향상시킨다.
• 미리 정의된 M-웨이 N-샷 지원 세트를 사용하는 에피소드 기반 메타학습 전략을 통해 모델을 학습함으로써 새로운 클래스에 대한 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 인간의 시선 데이터가 제로샷 러닝에서 분류에 효과적인 특성의 국소화에 효과적인 사전 지식로 기능할 수 있는가?
• RQ2 목표 지향적 시선 추정이 새로운 클래스 인식을 위한 시각적 특징의 분류 능력을 향상시키는가?
• RQ3 시선 감독을 특성 유도 주의와 통합했을 때 표준 ZSL 벤치마크에서 성능에 어떤 영향을 미치는가?
• RQ4 제안된 GEM-ZSL 방법이 CUB, SUN, AWA2와 같은 다양한 데이터셋에 대해 얼마나 잘 일반화되는가?
• RQ5 코사인 거리 공간에서 온도 파rameter σ의 값에 따라 모델의 성능은 어떻게 변하는가?

주요 결과

• GEM-ZSL은 일반화된 제로샷 러닝(GZSL) 설정 하에서 CUB와 AWA2 벤치마크에서 최신 기술 수준의 성능을 달성하며, M=16, N=2일 때 각각 70.4%와 70.6%의 top-1 정확도를 기록한다.
• SUN 데이터셋에서는 M=16, N=2일 때 GZSL 설정 하에서 36.9%의 정확도를 기록하며, 무작위 샘플링 학습보다 1.8% 높은 성능을 보였다.
• CUB-VWSW 데이터셋에서 시선 추정 모듈은 AUC 0.914와 NSS 2.244를 기록했으며, 기준 모델인 GBVS(AUC: 0.793, NSS: 1.003)와 GP(AUC: 0.836, NSS: 1.430)보다 유의미하게 뛰어난 성능을 보였다.
• 제거 실험을 통해 AT 모듈을 통한 실제 시선 데이터 통합이 속성 국소화 정확도 향상과 전체 인식 성능 향상에 기여하는 것으로 확인되었다.
• CUB와 AWA2에서는 σ=20, SUN에서는 σ=25일 때 성능이 가장 우수했으며, 학습 중에 최소한의 변동을 보였고, 이는 안정적인 하이퍼파ram터 민감도를 의미한다.
• 에피소드 기반 학습은 항상 무작위 샘플링 학습보다 높은 성능을 보였으며, M=16, N=2일 때 최고의 정확도를 기록하여 소수의 샘플 기반 메타학습이 일반화 능력을 향상시키는 데 기여함을 입증했다.