[論文レビュー] Guiding human gaze with convolutional neural networks

Leon A. Gatys, Matthias Kümmerer+2 more|arXiv (Cornell University)|Dec 18, 2017

Gaze Tracking and Assistive Technology参考文献 1被引用数 13

ひとこと要約

本論文では、ターゲットの注視分布に基づいて、人間の注視を特定の領域に誘導するように画像を操作するためのディープラーニング手法を提案している。パーセプトアーラルに裏付けられた損失関数を用いてCNNを訓練することで、画像の自然さを保ちながら、ターゲットオブジェクトにおける注視確率を平均で43%向上させることに成功した。これは、人間の眼動-tracking実験によって検証された。

ABSTRACT

The eye fixation patterns of human observers are a fundamental indicator of the aspects of an image to which humans attend. Thus, manipulating fixation patterns to guide human attention is an exciting challenge in digital image processing. Here, we present a new model for manipulating images to change the distribution of human fixations in a controlled fashion. We use the state-of-the-art model for fixation prediction to train a convolutional neural network to transform images so that they satisfy a given fixation distribution. For network training, we carefully design a loss function to achieve a perceptual effect while preserving naturalness of the transformed images. Finally, we evaluate the success of our model by measuring human fixations for a set of manipulated images. On our test images we can in-/decrease the probability to fixate on selected objects on average by 43/22% but show that the effectiveness of the model depends on the semantic content of the manipulated images.

研究の動機と目的

• 画像の視覚的注目度を操作することで、人間の注視を制御するデータ駆動型の手法を開発すること。
• 高次元の注目度マップから画像へのマッピングの曖昧さにもかかわらず、特定の注視パターンを誘発する自然な見た目の画像を生成する課題に対処すること。
• 多様なデータセット上で固定されたCNNアーキテクチャを訓練することで、注視予測モデルにおける adversarial な例への過剰適合を低減すること。
• 人間の行動実験を用いて、実際に観察された注視パターンを測定することで、本手法の有効性を検証すること。

提案手法

• 入力画像を、指定されたターゲット注視分布に一致する新しい画像に変換するCNNベースの画像変換ネットワークを訓練する。
• 損失関数は、事前に訓練済みの注視予測CNN（DeepGaze II）の特徴に基づくパーセプトアーラル損失と、画像の自然さを維持するためのコンテンツ保持損失を組み合わせている。
• ターゲット注視分布は空間的注目度マップとして定義され、オブジェクトマスクをぼかすことで鋭い遷移を回避し、一般化を向上させている。
• バックプロパゲーションを用いて、画像とその対応する注目度マップの多数のデータセット上で、画像変換を最適化するようにモデルを訓練する。
• 画像の操作は、制御された条件下で注視パターンを記録する人間の眼動-tracking実験を用いて評価される。
• 記憶や意識的制御の影響に対して耐性があるかを評価するため、複数のデータサブセット（例：最初のブロック、最初の注視のみ）を分析する。

実験結果

リサーチクエスチョン

• RQ1 ディープニューラルネットワークを訓練して、人間の観察者が特定のターゲット領域に系統的に注視するように画像を操作することは可能か？
• RQ2 元の画像と比較して、モデルはターゲットオブジェクトにおける注視確率をどの程度向上させられるか？
• RQ3 変換中、画像の自然さと同一性はどの程度保持されるか？
• RQ4 人間の注視パターンは、操作された画像に対してどのように反応するか？また、異なる実験条件下でもその効果は一貫しているか？

主な発見

• テスト画像全体で、ターゲットオブジェクトへの注視確率が平均で43%向上した。逆に注視を抑制する場合には22%の低下が見られた。
• 最初の注視のみに注目した場合、ターゲットオブジェクトへの注視確率の平均増加は3230%に達し、初期の注意誘導効果が強いことが示された。
• 最初の注視における注視確率の中央値増加は、ターゲットオブジェクトへの誘導で57%、抑制で48%であり、意図的制御に対して耐性があることが示された。
• 本手法の有効性は、明確で一貫性のあるオブジェクトを含む画像に依存しており、そのような画像では高い成功確率が得られた。
• 操作された画像に対する人間の注視パターンは、ターゲットの注目度マップとよく一致しており、モデルの予測能力が妥当であることが検証された。
• 記憶効果や意識的制御に対して本モデルは頑健であることが、最初のブロックおよび最初の注視の分析から一貫した結果が得られたことで示された。