[論文レビュー] Personalization of Saliency Estimation

Bingqing Yu, James J. Clark|arXiv (Cornell University)|Nov 21, 2017

Visual Attention and Saliency Detection参考文献 20被引用数 5

ひとこと要約

この論文では、観察者固有のアイデンティティおよび特徴（例：年齢、言語習得度）を画像刺激と統合して、視線予測を観察者別に生成する条件付きディープ畳み込みGANを用いた、パーソナライズされたサリエンシー推定モデルを提案する。非パーソナライズされたベースラインと比較して、生成器および識別器をラベル条件付きに設計することで、視覚的注意の個人差を明示的にモデル化し、自然画像およびテキスト読解タスクの両方でAUC、NSSが向上し、KLダイバージェンスおよびMSEが低下する。

ABSTRACT

Most existing saliency models use low-level features or task descriptions when generating attention predictions. However, the link between observer characteristics and gaze patterns is rarely investigated. We present a novel saliency prediction technique which takes viewers' identities and personal traits into consideration when modeling human attention. Instead of only computing image salience for average observers, we consider the interpersonal variation in the viewing behaviors of observers with different personal traits and backgrounds. We present an enriched derivative of the GAN network, which is able to generate personalized saliency predictions when fed with image stimuli and specific information about the observer. Our model contains a generator which generates grayscale saliency heat maps based on the image and an observer label. The generator is paired with an adversarial discriminator which learns to distinguish generated salience from ground truth salience. The discriminator also has the observer label as an input, which contributes to the personalization ability of our approach. We evaluate the performance of our personalized salience model by comparison with a benchmark model along with other un-personalized predictions, and illustrate improvements in prediction accuracy for all tested observer groups.

研究の動機と目的

• 注意割り当てにおける個人差を無視する既存のサリエンシー・モデルの欠如を是正すること。
• 低レベルの特徴やタスク要件を超えて、年齢や言語背景といった個人的特徴が視覚的注意パターンに与える影響をモデル化すること。
• 追加のデータ収集やデータセット再トレーニングを必要とせず、観察者固有の正確なサリエンシー・マップを生成する深層学習フレームワークを開発すること。
• 自然な光景およびテキスト読解を含む多様な視認状況において、モデルの有効性を実証すること。

提案手法

• 条件付きディープ畳み込みGAN（DCGAN）を用い、生成器が画像入力および観察者アイデンティティラベルを条件としてグレースケールのサリエンシー熱マップを生成する。
• 識別器は、眼動-trackingデータから得た実際のサリエンシー・マップと生成されたマップを区別するように訓練され、観察者ラベルも入力として受け入れることでパーソナライゼーションを強制する。
• 生成器は空間的詳細を保持するためのスキップ接続構造を採用し、識別器はスペクトル正規化およびリークリLU（Leaky ReLU）活性化関数を用いて訓練の安定性を向上させる。
• 観察者アイデンティティは単純なワンホット埋め込みによって符号化され、詳細なアンケート調査を必要とせず、異なる人種的・言語的グループに一般化可能である。
• 生成器が真の固定点パターンと一致するマップを生成しながら敵対的損失を最小化するように、エンド・ツー・エンドで訓練する。
• この手法はモジュラーである。任意の最先端モデル（例：MLNET）が出力するサリエンシー・マップを入力として受け入れられ、生の眼動-trackingデータからの再トレーニングなしにパーソナライズが可能である。

実験結果

リサーチクエスチョン

• RQ1 観察者アイデンティティおよび年齢や言語習得度といった特徴を統合することで、GANベースのモデルがサリエンシー予測を効果的にパーソナライズできるか？
• RQ2 生成プロセスに個人的特徴を組み込むことで、非パーソナライズモデルと比較して視線予測の精度がどのように向上するか？
• RQ3 このモデルは、自然画像およびテキストのみのコンテンツを含む、さまざまな視覚的刺激にどの程度一般化可能か？
• RQ4 モデルの出力は、若年層では固定点が中心に集中し、高年齢層では広がりのあるパターンを示すという、注意割り当ての既知の行動的差を反映しているか？

主な発見

• パーソナライズされたモデルは、非パーソナライズされたMLNETベースラインと比較して、両年齢層においてAUC（p < 0.01）、NSS、KLダイバージェンス、類似度指標のすべてでサリエンシー予測精度が顕著に向上した。
• 年齢層の比較において、モデルは若年層の観察者に対してより中心的かつ凝縮されたサリエンシー・マップを生成し、高年齢層ではより広がりがあり滑らかなマップを生成した—これはAge Studyデータセットからの経験的発見と整合的であった。
• GECOデータセットにおいて、正しいアイデンティティ・ラベルを用いた場合、L1（母語話者）およびL2（第二言語話者）の両方の読者において、視線固定予測のMSEが低く抑えられた—文脈に適応したパーソナライゼーションを示した。
• 誤ったラベル（例：L2コンテンツにL1ラベルを入力）が与えられた場合、モデルは不一致する固定点パターンを生成した—例としてL1では高頻度のスキップ、L2では高頻度の固定点が観察された—これにより、ラベル依存の動作が確認された。
• モデルはテキストのみの刺激に対しても、観察者固有のサリエンシー・マップを効果的に生成でき、パーソナライゼーションが自然な光景にとどまらず、読解行動にも拡張可能であることを示した。
• 追加のデータ収集やデータセット構築を必要とせず、事前にトレーニングされたサリエンシー・マップ（例：MLNETから得たもの）を直接入力として使用できるため、このアプローチは適応可能で効率的である。