[論文レビュー] Gaze Embeddings for Zero-Shot Image Classification

Nour Karessli, Zeynep Akata+2 more|arXiv (Cornell University)|Nov 28, 2016

Domain Adaptation and Few-Shot Learning参考文献 36被引用数 4

ひとこと要約

本稿では、ゼロショット画像分類のための補助情報として人間の注視データを活用する手法を提案し、クラスに特徴的な視線の分布を捉えるために、3つの新規注視埋め込み（Gaze Histograms: GH、Gaze Features with Grid: GFG、Gaze Features with Sequence: GFS）を導入している。本手法は、細分化されたデータセットにおいて熟練者による属性アノテーションやベースライン手法を上回り、非熟練者の注視データがゼロショット学習のための競争力があり低コストな代替手段であることを示している。

ABSTRACT

Zero-shot image classification using auxiliary information, such as attributes describing discriminative object properties, requires time-consuming annotation by domain experts. We instead propose a method that relies on human gaze as auxiliary information, exploiting that even non-expert users have a natural ability to judge class membership. We present a data collection paradigm that involves a discrimination task to increase the information content obtained from gaze data. Our method extracts discriminative descriptors from the data and learns a compatibility function between image and gaze using three novel gaze embeddings: Gaze Histograms (GH), Gaze Features with Grid (GFG) and Gaze Features with Sequence (GFS). We introduce two new gaze-annotated datasets for fine-grained image classification and show that human gaze data is indeed class discriminative, provides a competitive alternative to expert-annotated attributes, and outperforms other baselines for zero-shot image classification.

研究の動機と目的

• ゼロショット画像分類のための熟練者による属性アノテーションの収集にかかる高コストと専門知識の要請を解決すること。
• 非熟練者から得られる人間の注視データが、ゼロショット学習のための代替手段として実用的かつ低コストに機能するかどうかを検証すること。
• 2つのクラス間の識別タスクを用いることで、注視情報の内容を強化する新しいデータ収集パラダイムを構築すること。
• 注視点の時系列データから特徴を抽出する3つの新しい注視埋め込み手法を設計・評価すること。
• 初期の学習ドメインを超えて、異なる細分化されたデータセットへと注視ベースのゼロショット学習が一般化可能かどうかを示すこと。

提案手法

• 観察者が2つのクラスを横並びに表示し、第3の画像に対して二値分類タスクを実行する注視データ収集パラダイムを提案し、識別的対象部の注視を促進する。
• 3つの注視埋め込み手法を導入：Gaze Histograms (GH) は注視点の空間的分布を、Gaze Features with Grid (GFG) はグリッド上の空間的・時間的特徴を、Gaze Features with Sequence (GFS) は注視パターンの時系列的特徴をそれぞれ捉える。
• 深層画像特徴と注視埋め込みの間の適合性を学習するための構造的共同埋め込みフレームワークを用いる。
• 画像特徴とクラス埋め込みの間のマッピングを、注視データを補助信号として用いて学習することで、ゼロショット学習の設定に注視埋め込みを適用する。
• 眼動-trackingデータを用いて注視点を抽出し、空間的分布、注視持続時間、および順序の特徴に基づいて埋め込みを構築する。
• CUBおよびPETデータセットで標準的なゼロショット学習プロトコルを用い、複数回のゼロショット分割と繰り返し実験を実施して性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 非熟練者から得られる人間の注視データは、ゼロショット画像分類のための有効な補助情報として機能するか？
• RQ2 注視埋め込みは熟練者による属性や他のベースライン手法と比較して、ゼロショット分類性能で優れているか？
• RQ3 識別タスクに基づくデータ収集パラダイムは、受動的視聴と比較して注視データの識別的品質を向上させるか？
• RQ4 注視埋め込みはCUBやオックスフォード・ペットといった異なる細分化されたデータセットへ一般化可能か？
• RQ5 視覚的に類似したクラス（例：形状は似ているが色が異なる猫の品種）を区別する際、注視ベースの埋め込みにどのような限界があるか？

主な発見

• 非熟練者からの注視データは非常にクラスに特徴的なものであり、PETデータセットで46.6%のゼロショット精度を達成し、ランダムベースライン（16%）やbag-of-wordsベースライン（21.0%）を顕著に上回っている。
• CUB-VWデータセットでは、注視埋め込みが熟練者による属性とマウスクリックベースの「バブル」データの両方を上回り、補助信号としての優位性を示している。
• 注視埋め込みは細分化された鳥類分類において競争力ある性能を示し、「Black-capped Vireo」の画像を上位3位以内に正しくランク付けしている。一方、属性やbag-of-words手法はテキストの意味的類似性のため誤りを犯している。
• 定性的な分析から、注視埋め込みはネズミとイヌを誤って混同することはほとんどないが、bag-of-words表現は頻繁に混同することがあり、注視の意味的曖昧さへの耐性が高いことが示された。
• 視覚的に類似したクラス（例：アビシニアンとロシアブルーのネコ）を区別する際の失敗事例では、注視が色の違いをエンコードできず、非空間的視覚的特徴を捉える能力に限界があることが判明した。
• 結果から、注視埋め込みはゼロショット学習に有効であり、ドメイン間で一般化可能であるが、ドメイン特化のデータ収集や注視埋め込みパrameterのファインチューニングにより性能が向上する可能性がある。