[論文レビュー] Goal-Oriented Gaze Estimation for Zero-Shot Learning

Yang Liu, Lei Zhou+5 more|arXiv (Cornell University)|Mar 5, 2021

Domain Adaptation and Few-Shot Learning参考文献 77被引用数 8

ひとこと要約

本稿では、属性誘導型アテンションと人間の視線データを用いて判別的オブジェクト部の局所化を実現するゼロショット学習のための目的志向型視線推定（GEM-ZSL）を提案する。本手法は、視線に配慮したアテンションモジュールを介して、グローバル画像特徴量と局所的属性表現を同時に最適化することで、CUB、SUN、AWA2ベンチマークで最先端または競争力のある性能を達成する。

ABSTRACT

Zero-shot learning (ZSL) aims to recognize novel classes by transferring semantic knowledge from seen classes to unseen classes. Since semantic knowledge is built on attributes shared between different classes, which are highly local, strong prior for localization of object attribute is beneficial for visual-semantic embedding. Interestingly, when recognizing unseen images, human would also automatically gaze at regions with certain semantic clue. Therefore, we introduce a novel goal-oriented gaze estimation module (GEM) to improve the discriminative attribute localization based on the class-level attributes for ZSL. We aim to predict the actual human gaze location to get the visual attention regions for recognizing a novel object guided by attribute description. Specifically, the task-dependent attention is learned with the goal-oriented GEM, and the global image features are simultaneously optimized with the regression of local attribute features. Experiments on three ZSL benchmarks, i.e., CUB, SUN and AWA2, show the superiority or competitiveness of our proposed method against the state-of-the-art ZSL methods. The ablation analysis on real gaze data CUB-VWSW also validates the benefits and accuracy of our gaze estimation module. This work implies the promising benefits of collecting human gaze dataset and automatic gaze estimation algorithms on high-level computer vision tasks. The code is available at https://github.com/osierboy/GEM-ZSL.

研究の動機と目的

• 未学習クラスの認識において、人間らしく注意力を発揮するメカニズムを活用することで、ゼロショット学習（ZSL）の性能を向上させること。
• 学習済みクラスと未学習クラスの間で微細な判別的属性を捉えることができないグローバル特徴量の限界を是正すること。
• 人間の視線データがZSLにおける意味的属性の局所化に強力な事前知識として機能するかを検討すること。
• 視線推定と視覚的・意味的埋め込みを統合する、微分可能でエンドツーエンドで学習可能なフレームワークを構築すること。
• 視線監督が、ゼロショット設定における属性局所化と認識精度の向上にどのように寄与するかを検証すること。

提案手法

• 属性の投影語ベクトルをクエリとして用いる目的志向型視線推定モジュール（GEM）を導入し、画像内の判別的部位のアテンションベースの局所化を誘導する。
• 二重線形プーリングに基づくアテンションモジュール（AM）を採用し、意味的属性に条件付けられた領域特徴量を生成する。
• 実際の人間の視線データを用いて予測アテンションマップを補正するAttention Transition（AT）モジュールを導入し、局所化精度を向上させる。
• Mean Squared Error（MSE）損失を用いて、真値の属性をアトリビュート局所化（AL）モジュールの監督として用い、予測特徴量と既知の属性領域を一致させる。
• バックボーンエンコーダーから得られるグローバル画像特徴量と局所的属性特徴量を、コサイン距離空間で同時に最適化することで、クラス内分散を低減し、ゼロショット一般化性能を向上させる。
• メタ学習戦略に基づくエピソード学習を採用し、M-way N-shotのサポートセットを用いて、未学習クラスへの一般化性能を強化する。

実験結果

リサーチクエスチョン

• RQ1 人間の視線データは、ゼロショット学習における判別的属性の局所化に有効な事前知識として機能するか？
• RQ2 目的志向型視線推定は、未学習クラス認識のための視覚的特徴の判別力を向上させるか？
• RQ3 視線監督を属性誘導型アテンションと統合することで、標準的なZSLベンチマークにおける性能にどのような影響を与えるか？
• RQ4 提案手法GEM-ZSLは、CUB、SUN、AWA2のような多様なデータセットにどの程度一般化可能か？
• RQ5 コサイン距離空間における温度パrameter σ の異なる値に対して、モデルの性能はどのように変化するか？

主な発見

• GEM-ZSLは、一般化ゼロショット学習（GZSL）設定下でCUBとAWA2ベンチマークで最先端の性能を達成し、M=16、N=2の条件下でそれぞれ70.4%および70.6%のトップ1正解率を記録した。
• SUNデータセットでは、M=16、N=2の条件下でGZSL設定下で36.9%の正解率を達成し、ランダムサンプリング学習より1.8ポイント高い性能を示した。
• CUB-VWSWデータセットにおける視線推定モジュールの性能は、AUCが0.914、NSSが2.244であり、ベースライン手法（GBVS：AUC 0.793、NSS 1.003、GP：AUC 0.836、NSS 1.430）を著しく上回った。
• アブレーションスタディの結果、ATモジュールによる実際の視線データの統合が、属性局所化精度の向上と全体の認識性能の向上に寄与することが確認された。
• CUBおよびAWA2ではσ=20、SUNではσ=25が最良の性能を示し、トレーニング中に最小限の変動が観察されたことから、ハイパーパramータの感度が安定していることが示された。
• エピソードベース学習は、ランダムサンプリング学習を常に上回り、M=16、N=2で最高の正解率を達成した。これは、少数ショットメタ学習による一般化性能の向上を示している。