[논문 리뷰] Gaze Embeddings for Zero-Shot Image Classification

Nour Karessli, Zeynep Akata외 2명|arXiv (Cornell University)|2016. 11. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 36인용 수 4

한 줄 요약

이 논문은 제로샷 이미지 분류를 위한 보조 정보로 인간의 시선 데이터를 사용하는 것을 제안하며, 클래스 구분에 유용한 시각적 주의를 포착하기 위해 세 가지 새로운 시선 임베딩—Gaze Histograms (GH), Gaze Features with Grid (GFG), Gaze Features with Sequence (GFS)—을 도입한다. 이 방법은 세분화된 데이터셋에서 전문가가 주석 처리한 특성과 기준 방법보다 뛰어난 성능을 보이며, 제로샷 학습을 위한 저비용 경쟁적 대안으로 비전문가의 시선 데이터가 효과적임을 입증한다.

ABSTRACT

Zero-shot image classification using auxiliary information, such as attributes describing discriminative object properties, requires time-consuming annotation by domain experts. We instead propose a method that relies on human gaze as auxiliary information, exploiting that even non-expert users have a natural ability to judge class membership. We present a data collection paradigm that involves a discrimination task to increase the information content obtained from gaze data. Our method extracts discriminative descriptors from the data and learns a compatibility function between image and gaze using three novel gaze embeddings: Gaze Histograms (GH), Gaze Features with Grid (GFG) and Gaze Features with Sequence (GFS). We introduce two new gaze-annotated datasets for fine-grained image classification and show that human gaze data is indeed class discriminative, provides a competitive alternative to expert-annotated attributes, and outperforms other baselines for zero-shot image classification.

연구 동기 및 목표

• 제로샷 이미지 분류를 위한 전문가가 주석 처리한 특성 수집에 드는 높은 비용과 전문성 요구를 해결하기 위해.
• 비전문가로부터 수집한 인간의 시선—즉, 제로샷 학습을 위한 특성의 타당하고 저비용 대안이 될 수 있는지 탐색하기 위해.
• 두 클래스 간의 식별 작업을 통해 시선 정보의 내용을 향상시키는 새로운 데이터 수집 범주를 개발하기 위해.
• 시선 점 수열에서 구분 가능한 특징을 추출하기 위한 세 가지 새로운 시선 임베딩 방법을 설계하고 평가하기 위해.
• 초기 학습 도메인 외의 다양한 세분화된 데이터셋으로의 제로샷 학습의 일반화 성능을 입증하기 위해.

제안 방법

• 관찰자가 두 클래스를 옆에 두고 뷰어를 통해 제삼의 이미지에 대해 이진 분류 작업을 수행하도록 하여, 구분 가능한 객체 부분에 집중하도록 유도하는 시선 데이터 수집 범주를 제안한다.
• 세 가지 시선 임베딩 방법을 도입한다: Gaze Histograms (GH)는 시선 점의 공간 분포를 위한 것이며, Gaze Features with Grid (GFG)는 격자 내에서의 공간적 및 시간적 특징을 위한 것이며, Gaze Features with Sequence (GFS)는 순차적 시선 패턴을 위한 것이다.
• 딥 레이어 이미지 특징과 시선 임베딩 간의 호환성을 학습하기 위해 구조화된 공동 임베딩 프레임워크를 사용한다.
• 이미지 특징과 클래스 임베딩 간의 매핑을 학습함으로써 시선을 보조 신호로 사용하여 제로샷 학습 설정에서 시선 임베딩을 적용한다.
• 눈동자 추적 데이터를 활용하여 시선 점을 추출하고, 공간 분포, 정지 지속 시간, 순서 순서 기반으로 임베딩을 구성한다.
• CUB 및 PET 데이터셋에서 표준 제로샷 학습 프rotocol을 사용하여 다수의 제로샷 분할 및 반복 실험을 통해 성능을 검증한다.

실험 결과

연구 질문

• RQ1 비전문가로부터 수집한 인간의 시선 데이터는 제로샷 이미지 분류를 위한 효과적인 보조 정보가 될 수 있는가?
• RQ2 시선 임베딩은 전문가가 주석 처리한 특성과 다른 기준 방법 대비 제로샷 분류 성능에서 어떻게 비교되는가?
• RQ3 식별 기반 데이터 수집 범주가 수동 관찰에 비해 시선 데이터의 구분 능력을 향상시키는가?
• RQ4 CUB 및 옥스포드 펫과 같은 다른 세분화된 데이터셋으로의 시선 임베딩의 일반화 가능성은 어떠한가?
• RQ5 색상은 다르지만 형태가 유사한 고양이 품종(예: 아비시니안 vs 러시안 블루)을 구분할 때 시선 기반 임베딩의 한계는 무엇인가?

주요 결과

• 비전문가로부터 수집한 인간의 시선 데이터는 매우 높은 클래스 구분 능력을 보이며, PET 데이터셋에서 제로샷 정확도 46.6%를 달성하여 무작위 기준(16%)과 백오브워즈 기준(21.0%)보다 뚜렷이 뛰어나다.
• CUB-VW 데이터셋에서 시선 임베딩은 전문가가 주석 처리한 특성과 마우스 클릭 기반의 '버블' 데이터 양쪽 모두를 앞서며, 보조 신호로서의 우월성을 입증한다.
• 세분화된 새 분류에서 시선 임베딩은 경쟁적인 성능을 보이며, '블랙캡드 바이어오' 이미지의 순위를 상위 3위 이내로 정확히 예측한다. 반면 특성과 백오브워즈 방법은 어휘적 유사성으로 인해 오류를 범한다.
• 정성적 분석 결과, 시선 임베딩은 고양이와 강아지를 자주 혼동하지 않지만, 백오브워즈 표현 방식은 자주 혼동함을 보이며, 이는 시선이 의미적 모호성에 대해 더 강건함을 시사한다.
• 실패 사례는 형태는 유사하지만 색상이 다른 고양이 품종(예: 아비시니안 vs 러시안 블루)을 구분할 때 발생하며, 이는 시선이 색상 차이를 포착하지 못함을 보여주며, 비공간적 시각적 특성의 포착에 한계가 있음을 시사한다.
• 결과적으로 시선 임베딩은 제로샷 학습에 효과적이며 도메인 간 일반화가 가능하지만, 도메인 특화된 데이터 수집 또는 시선 임베딩 파rameter의 미세조정을 통해 성능 향상을 이룰 수 있을 것으로 보인다.