[論文レビュー] Who is Mistaken

Benjamin Eysenbach, Carl Vondrick+1 more|arXiv (Cornell University)|Dec 4, 2016

Human Pose and Action Recognition参考文献 35被引用数 7

ひとこと要約

本論文は、抽象的な視覚的シーンにおける誤った信念を特定するための新規タスクを提示し、登場人物が誤った信念を持つ8フレームのストーリーから構成されるデータセットを提案する。視覚的手がかり（注視方向やシーンの文脈など）を用いて、モデルはベースラインを上回り、誰が誤っているか、いつ誤りが生じるかを予測する。これは、モデルが信念認識に必要な重要な知覚的信号を学習できることを示している。

ABSTRACT

Recognizing when people have false beliefs is crucial for understanding their actions. We introduce the novel problem of identifying when people in abstract scenes have incorrect beliefs. We present a dataset of scenes, each visually depicting an 8-frame story in which a character has a mistaken belief. We then create a representation of characters' beliefs for two tasks in human action understanding: predicting who is mistaken, and when they are mistaken. Experiments suggest that our method for identifying mistaken characters performs better on these tasks than simple baselines. Diagnostics on our model suggest it learns important cues for recognizing mistaken beliefs, such as gaze. We believe models of people's beliefs will have many applications in action understanding, robotics, and healthcare.

研究の動機と目的

• 視覚的ナラティブにおける個々の人物が誤った信念を持つ瞬間を認識するという、社会的認知の重要な要素に対処すること。
• 信念認識モデルの学習と評価を目的として、登場人物が誤った信念を持つ8フレームの抽象的シーンのデータセットを構築すること。
• 誰が誤っているか、そしてその信念がいつ誤りとなるかを予測できるようにすることで、行動理解を向上させること。
• 注視方向やシーンの文脈といった視覚的手がかりが、誤った信念検出を支援することを特定すること。

提案手法

• 登場人物が誤った信念を持つ8フレームの視覚的ストーリーのデータセットを構築し、誰が誤っているか、誤りが生じるタイミングをアノテーションする。
• 時間経過に伴う誤った信念を予測できるように、登場人物とシーンの視覚的特徴を符号化する表現モデルを設計する。
• 注視方向や物体の位置といった顕著な視覚的手がかりに注目するため、アテンションメカニズムを用いて信念状態を推定する。
• クロスエントロピー損失を用いて、データセット上でエンドツーエンドにモデルを学習し、誤った信念の人物とタイミングを予測する。
• 2つのタスクでモデルを評価する：誰が誤っているかを分類すること、および誤りが生じるフレームを予測すること。
• 診断的分析を適用してモデルの挙動を解釈し、注視方向や空間的関係といった学習済みの手がかりを同定する。

実験結果

リサーチクエスチョン

• RQ1 視覚的モデルは、シーンレベルの視覚的手がかりに基づいて、ストーリー内の登場人物が誤った信念を持つ瞬間を正確に検出できるか？
• RQ2 誤った信念を特定する際、モデルは注視方向や物体の位置といったどの視覚的信号に依存するか？
• RQ3 提案手法は、誤った人物とそのタイミングを予測する際、単純なベースラインと比較してどのように優れているか？
• RQ4 モデルの予測は、目線の注視といった解釈可能な視覚的手がかりによってどの程度説明可能か？

主な発見

• 提案されたモデルは、誤った人物と誤りが生じるフレームの両方を識別する点で、単純なベースラインを上回る性能を示した。
• 診断的分析の結果、モデルは注視方向といった重要な手がかりに注目していることが判明し、社会的に関連する信号を捉えていることが示された。
• 8フレームの時系列的推論を組み込むことで、モデルの性能が向上した。これは物語の文脈の重要性を示している。
• 視覚的アテンションマップは、注視方向と物体の相互作用が誤った信念検出において重要な要因であることを示しており、人間の直感と一致する。
• このデータセットにより、誤った信念認識の一貫した評価が可能となり、視覚的推論と社会的認識分野における今後の研究のベンチマークを提供する。