[論文レビュー] When Computer Vision Gazes at Cognition

Tao Gao, Daniel Harari+2 more|arXiv (Cornell University)|Dec 8, 2014

Gaze Tracking and Assistive Technology参考文献 22被引用数 8

ひとこと要約

本稿は、心理物理学的実験と認知的にインspiredされたコンピュータビジョンモデルを融合することで、非制約的で3次元の視覚的シーンにおいて、第三者の視線方向を検出する人間と計算機のパフォーランスを調査している。結果として、人間は視線の対象が8°–10°離れている状況でも約40%の正確性を示すが、これは現在のモデルを著しく上回っており、人間の視線認識の洗練さと、それをモデル化するための改善された計算フレームワークの必要性を示している。

ABSTRACT

Joint attention is a core, early-developing form of social interaction. It is based on our ability to discriminate the third party objects that other people are looking at. While it has been shown that people can accurately determine whether another person is looking directly at them versus away, little is known about human ability to discriminate a third person gaze directed towards objects that are further away, especially in unconstraint cases where the looker can move her head and eyes freely. In this paper we address this question by jointly exploring human psychophysics and a cognitively motivated computer vision model, which can detect the 3D direction of gaze from 2D face images. The synthesis of behavioral study and computer vision yields several interesting discoveries. (1) Human accuracy of discriminating targets 8°-10° of visual angle apart is around 40% in a free looking gaze task; (2) The ability to interpret gaze of different lookers vary dramatically; (3) This variance can be captured by the computational model; (4) Human outperforms the current model significantly. These results collectively show that the acuity of human joint attention is indeed highly impressive, given the computational challenge of the natural looking task. Moreover, the gap between human and model performance, as well as the variability of gaze interpretation across different lookers, require further understanding of the underlying mechanisms utilized by humans for this challenging task.

研究の動機と目的

• 非制約的で自然主義的な状況下における人間の視覚的認識の限界、特に第三者の視線方向を検出する能力について理解すること。
• 個々の差異が共同注意タスクにおけるパフォーマンスに与える影響を調査すること。
• 2次元の顔画像から3次元の視線方向を推定できる認知的に動機づけられたコンピュータビジョンモデルの開発と評価。
• 人間のパフォーマンスと計算モデルを比較し、現在のAIアプローチにおける視線認識のギャップを特定すること。
• 複雑な視覚的シーンにおいて高精度な視線解釈を可能にする背後にある認知的メカニズムを解明すること。

提案手法

• 視線の対象の角度差を変化させた自由な視線タスクにおける人間被験者を対象とした心理物理学的実験を実施。
• 人間の認知的プロセスを模倣したコンピュータビジョンモデルを構築し、2次元顔画像から3次元の視線方向を推定。
• 3次元顔モデルと幾何的制約を用いて、単眼画像からの目の向きと頭の向きに基づき視線方向を推定。
• 人間の観察者からのデータを用いてモデルをキャリブレーションし、その予測を人間の知覚的判断と一致させる。
• 視線解釈スタイルが異なる複数の被験者を対象に、モデルのパフォーマンスを人間データと比較評価。
• 視線の対象が視覚角で8°–10°離れている状況での識別正確性を指標としてパフォーマンスを定量評価。

実験結果

リサーチクエスチョン

• RQ1 非制約的で自然主義的な視線タスクにおいて、人間は第三者の視線対象が8°–10°離れている場合にどの程度の正確性を示すか？
• RQ2 視線解釈の個人差が、異なる被験者間でのパフォーマンスにどのように影響するか？
• RQ3 計算的にモデル化されたシステムは、人間の視線解釈における個人差を再現できるか？
• RQ4 現在のコンピュータビジョンモデルは、人間のパフォーマンスとどの程度一致しているか、あるいはどの程度不足しているか？
• RQ5 複雑な視覚的シーンにおいて、人間の共同注意の鋭敏さを支える背後にある認知的メカニズムは何か？

主な発見

• 人間被験者は、自由な視線タスクにおいて、視覚角で8°–10°離れた視線の対象を識別する際、約40%の正確性を示した。
• 被験者間で視線解釈能力に顕著なばらつきが認められ、知覚戦略が被験者ごとに異なることが示された。
• 認知的に動機づけられたコンピュータビジョンモデルは、人間データで観察された個々の差異をうまく捉えることに成功した。
• それでも、モデルのパフォーマンスは人間のそれとは著しく低く、顕著なパフォーマンスギャップが存在することが示された。
• 結果として、人間の共同注意の鋭敏性は、計算的に困難な自然な視認条件下でも極めて洗練されたものであることが明らかになった。
• 人間とモデルのパフォーマンスの差は、視線認識における人間の視覚認知に存在する、現在のコンピュータビジョンモデルが欠落している重要なメカニズムを示唆している。