[論文レビュー] Predicting Motivations of Actions by Leveraging Text

Carl Vondrick, Deniz Oktay+2 more|arXiv (Cornell University)|Jun 20, 2014

Multimodal Machine Learning Applications被引用数 9

ひとこと要約

この論文は、画像内の人的行動の背後にある動機を予測するタスクを導入し、事前学習された言語モデルを活用してテキストからの日常的知識を視覚システムに転送する手法を提案する。要因グラフモデルを用いて視覚的特徴とテキスト的知識を統合することで、視覚のみのベースラインに比べて動機予測が向上し、言語から得られる知識が人的意図の理解を向上させることを示している。

ABSTRACT

Understanding human actions is a key problem in computer vision. However, recognizing actions is only the first step of understanding what a person is doing. In this paper, we introduce the problem of predicting why a person has performed an action in images. This problem has many applications in human activity understanding, such as anticipating or explaining an action. To study this problem, we introduce a new dataset of people performing actions annotated with likely motivations. However, the information in an image alone may not be sufficient to automatically solve this task. Since humans can rely on their lifetime of experiences to infer motivation, we propose to give computer vision systems access to some of these experiences by using recently developed natural language models to mine knowledge stored in massive amounts of text. While we are still far away from fully understanding motivation, our results suggest that transferring knowledge from language into vision can help machines understand why people in images might be performing an action.

研究の動機と目的

• コンピュータビジョンが『何をしているか』を認識するだけではなく、『なぜ』その行動をとるのかを理解する能力に欠けているというギャップを埋めるため。
• 学習および評価のための動機を含む10,000枚の画像で構成される新しいデータセットを提供するため。
• 大規模なラベルなしテキストから得られる知識が、視覚モデルの人的動機推定能力を向上させられるかどうかを調査するため。
• 視覚的特徴と言語由来の知識を統合するフレームワークを構築し、視覚のみのアプローチに比べてより正確に動機を予測するため。

提案手法

• 著者らは、行動、シーン、動機を含む10,000枚程度の画像の新しいデータセットを収集・アノテートし、問題を検討する。
• 最新の画像特徴（例：[41] より）を用いて視覚分類器を訓練し、行動とシーンを予測する。
• 数千億のウェブページで事前学習された大規模言語モデルを用い、人間と物の相互作用、環境、動機に関するテキスト的知識を抽出する。
• 要因グラフモデルが、視覚的ユニタリポテンシャルと、言語モデルスコアから得られるペairワイズポテンシャルを組み合わせ、動機を予測する。
• 視覚的予測と、言語由来の意味的関係（例：「自転車をこいで通勤する」）を統合し、動機予測を精緻化する。
• ホールドアウトされたテストセットを用いて性能を評価し、Wikipediaベースの言語モデルと比較することで、言語的知識の寄与度をアブレーションする。

実験結果

リサーチクエスチョン

• RQ1 コンピュータビジョンシステムは、行動の認識を越えて、画像内の人的行動の背後にある動機を予測できるか？
• RQ2 大規模なテキストから抽出された知識が、視覚的動機予測の精度をどの程度向上させられるか？
• RQ3 言語由来の日常的知識を統合することで、視覚のみのモデルに比べて性能がどの程度向上するか？
• RQ4 言語モデルの質（例：ウェブ vs. Wikipedia）が動機予測の向上に顕著な要因となるか？
• RQ5 画像内の人的動機を最も効果的に予測する視覚的および言語的手がかりは何か？

主な発見

• 言語由来の知識と視覚的特徴を統合する本手法は、視覚のみのベースラインに比べて、動機予測において顕著に優れた性能を示す。
• ウェブで学習された言語モデルを用いることで、Wikipediaで学習されたモデルに比べて性能が1ポイント向上し、より大規模で多様なテキストデータが知識転送を向上させることを示している。
• 行動とシーンの視覚的認識が完璧であっても、モデルは依然として動機を完全に予測できないことから、動機は低レベルの視覚的コンセプトとは明確に異なることが示唆される。
• モデルは、テキストから得た意味的関係を活用しているため、妥当な失敗事例を生成することができ、言語的知識が文脈の推論を支援していることが示されている。
• 結果から、視覚的特徴のみでは動機予測に不十分であり、外部の日常的知識（テキスト由来）が進展を実現するために不可欠であることが示唆される。
• フレームワークは、言語モデルが高レベルの視覚的理解、特に意図や目的といった抽象的概念の改善に、日常的知識のソースとして機能できることを示している。