[論文レビュー] Answering Visual What-If Questions: From Actions to Predicted Scene Descriptions

Misha Wagner, Hector Basevi+5 more|arXiv (Cornell University)|Sep 11, 2018

Multimodal Machine Learning Applications参考文献 24被引用数 11

ひとこと要約

本論文は、視覚的質疑応答と物理ベースの将来状態予測を組み合わせた、新たなタスク「視覚的もしも質問（WIQ）」への対応を紹介する。著者らは、物理エンジンとデータ駆動型質問応答アーキテクチャを統合したハイブリッドモデルを提案し、新しいテーブルトップインタラクションデータセット（TIWIQ）において、エンドツーエンド学習ベースラインを上回る優れた性能を達成した。特に、アクションに依存した正確な将来シーン記述の生成において顕著な成果を上げた。

ABSTRACT

In-depth scene descriptions and question answering tasks have greatly increased the scope of today's definition of scene understanding. While such tasks are in principle open ended, current formulations primarily focus on describing only the current state of the scenes under consideration. In contrast, in this paper, we focus on the future states of the scenes which are also conditioned on actions. We posit this as a question answering task, where an answer has to be given about a future scene state, given observations of the current scene, and a question that includes a hypothetical action. Our solution is a hybrid model which integrates a physics engine into a question answering architecture in order to anticipate future scene states resulting from object-object interactions caused by an action. We demonstrate first results on this challenging new problem and compare to baselines, where we outperform fully data-driven end-to-end learning approaches.

研究の動機と目的

• 静的シーン理解を超えた、仮説的アクションに条件づけられた将来状態予測を含む視覚的推論のギャップを埋める。
• モデルが現在の観察と仮説的アクションに基づいて将来のシーン状態を記述するという、新たなタスク「視覚的もしも質問への対応」を形式化する。
• テーブルトップオブジェクトインタラクションに特化した、アクションに依存した将来シーン記述がアノテートされた、最初のデータセットであるTIWIQの開発。
• 物理エンジンを用いた正確な物理的推論を活用すると同時に、ニューラルネットワークを用いて言語の根拠付けと回答生成を実現するハイブリッドモデルの設計と評価。
• モデルベースの物理シミュレーションが、完全にデータ駆動的なアプローチに比べて、長期的かつ定性的な将来予測における一般化性能と正確性を向上させることを示す。

提案手法

• モデルは、現在のシーンの画像と、仮説的アクションを含む自然言語の質問を入力とする質問応答フレームワークを用いる。
• アクションは、アクションタイプ、影響を受けるオブジェクト、およびアクションパラメータに解析され、それらが物理エンジンによるオブジェクト相互作用のシミュレーションを駆動する。
• 物理エンジンは物理法則に基づいてオブジェクトの軌道と相互作用をシミュレートし、シーンの予測された将来状態を生成する。
• ニューラルネットワーク部は、物理シミュレーションの結果と入力質問に基づいて、予測された結果の自然言語記述を生成する。
• 弱教師付き学習により、正解の記述から学習し、BLEU、CIDEr、ROUGE、COMの各指標を最適化する損失関数を用いてエンドツーエンドで訓練する。
• ハイブリッドアーキテクチャにより、訓練例の記憶に依存するのではなく、物理シミュレーションに依存することで、未観測のアクションやオブジェクト構成に対しても一般化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 仮説的アクションがテーブルトップ環境で引き起こす定性的な将来シーン状態を、モデルが正確に予測できるか？
• RQ2 物理エンジンを統合することで、完全にデータ駆動的なモデルと比較して、ゼロショット一般化と推論性能がどのように向上するか？
• RQ3 ハイブリッドモデルが、人間の直感と一致する自然言語記述を、将来のオブジェクト相互作用についてどの程度正確に生成できるか？
• RQ4 モデルの各コンponent（アクションタイプ、オブジェクト、パラメータ）が、最終的な予測品質にどの程度寄与しているか？
• RQ5 トレーニング時に見られなかった新しいオブジェクト構成やアクションに対しても、モデルは一般化できるか。特に長期的な物理的相互作用が関与する場合に有効か？

主な発見

• ハイブリッドモデルは、すべての評価指標で完全にデータ駆動的なベースラインを上回り、BLEUスコア0.283、CIDEr1.133、ROUGE0.424、COM0.673を達成した。
• 正解のアクションパラメータをモデルに追加すると、性能が最も向上し、BLEUは0.262から0.272に、COMは0.640から0.662に上昇した。
• データ駆動型ベースラインよりも正確で一貫性のある記述を生成し、80％のケースで因果関係の主体（例：「スクリュードライバーがmustard containerを押す」）を正しく特定した。
• 物理的相互作用が発生しないケースでは、ハイブリッドモデルが100％の正確性で「何も起こらない」と正しく予測したが、データ駆動型モデルは頻繁に相互作用を「幻覚」的に生成していた。
• 未学習のオブジェクト構成やアクションに対しても、モデルは物理ベースのシミュレーションに依存することで一般化が可能であり、記憶に依存しない。
• 人間のベースラインとモデルの予測は、定性的な結果において強く一致しており、6つのテストケースのうち5つでハイブリッドモデルが人間の推論に近い結果を示した。