[論文レビュー] Probing Emergent Semantics in Predictive Agents via Question Answering

Abhishek Das, Federico Carnevale+9 more|arXiv (Cornell University)|Jun 1, 2020

Multimodal Machine Learning Applications参考文献 58被引用数 5

ひとこと要約

本稿では、自己教師付き視覚予測を用いて訓練された予測型エージェントに内蔵された顕在的命題的知識を解明・分析するための質問応答（QA）プロービングフレームワークを提案する。SimCoreおよびアクション条件付きCPCを用いて3次元環境で訓練されたエージェントの内部表現にQAを適用することで、生成的予測モデル（特にSimCore）が、勾配逆伝播をエージェントに伝えることなく、物体、性質、空間的関係に関する豊富で構成的な知識を学習していることが示された。

ABSTRACT

Recent work has shown how predictive modeling can endow agents with rich knowledge of their surroundings, improving their ability to act in complex environments. We propose question-answering as a general paradigm to decode and understand the representations that such agents develop, applying our method to two recent approaches to predictive modeling -action-conditional CPC (Guo et al., 2018) and SimCore (Gregor et al., 2019). After training agents with these predictive objectives in a visually-rich, 3D environment with an assortment of objects, colors, shapes, and spatial configurations, we probe their internal state representations with synthetic (English) questions, without backpropagating gradients from the question-answering decoder into the agent. The performance of different agents when probed this way reveals that they learn to encode factual, and seemingly compositional, information about objects, properties and spatial relations from their physical environment. Our approach is intuitive, i.e. humans can easily interpret responses of the model as opposed to inspecting continuous vectors, and model-agnostic, i.e. applicable to any modeling approach. By revealing the implicit knowledge of objects, quantities, properties and relations acquired by agents as they learn, question-conditional agent probing can stimulate the design and development of stronger predictive learning objectives.

研究の動機と目的

• 自己教師付き視覚予測によって訓練された予測型エージェントが、内部表現に物体、性質、空間的関係に関する命題的知識を獲得しているかどうかを調査すること。
• ニューラルエージェントの表現にエンコードされた事実的知識を診断するためのモデルに依存しない、解釈可能な手法を開発すること。
• 質問応答診断フレームワークを用いて、予測モデリング手法の違い（特にSimCore対アクション条件付きCPC）が、知識獲得能力に与える影響を比較すること。
• 質問応答が、明示的な記号的事実の教師なしに訓練されたエージェントの暗黙的知識を分析する一般化可能な人間が理解可能なツールとして機能できることを示すこと。
• エージェントが言語や記号の明示的教師なしに、エゴセントリックな未来予測のみに依存して、不変の物体アイデンティティおよび関係的知識を学習できるかどうかを評価すること。

提案手法

• 視覚的に豊かな3次元環境（DeepMind Lab）で、補助的予測損失を有するか無しの探索目的を用いてエージェントを訓練する。
• 2つの予測モデリング手法を適用：アクション条件付きCPC（Guo et al., 2018）およびSimCore（Gregor et al., 2019）、両者とも将来のエゴセントリック観測を予測する。
• エージェントの内部状態表現に基づいて、合成英語の質問に対する答えを予測する別個の微分不能なQAデコーダーを訓練する。
• QAヘッドからエージェントへの勾配逆伝播を防ぐために「勾配停止（stop gradient）」を用い、QAタスクが学習済み表現の純粋なプローブであることを保証する。
• 物体アイデンティティ、色、形状、数、空間的関係（例：「立方体の色は何ですか？」）をカバーする多様な質問を設計する。
• QAの正答率を、エージェントの環境内知識の代理指標として用い、複数の環境および設定において予測型と非予測型エージェントを比較評価する。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き視覚予測によって訓練された予測型エージェントは、内部表現に物体、性質、空間的関係に関する事実的で構成的な知識を学習・エンコードできるか？
• RQ2 予測モデリングアーキテクチャの選択（例：対照的vs.生成的）が、エージェントが獲得する命題的知識の質と種別に与える影響はいかほどか？
• RQ3 質問応答が、記号的事実の明示的教師なしに訓練されたエージェントの内部知識をプローブするためのモデルに依存しない、解釈可能な診断ツールとして機能できるか？
• RQ4 エゴセントリック予測のみに依存して訓練されたエージェントは、これらの属性の明示的教師なしに、不変の物体アイデンティティおよび性質の表現を発達させるか？
• RQ5 QAパフォーマンスは、下流タスクで同様に性能を示すエージェント間で、豊かな世界モデルを学習したエージェントとそうでないエージェントを信頼性高く区別できるか？

主な発見

• SimCoreエージェントは、すべての質問タイプにおいて最高のQA正答率を達成し、アクション条件付きCPCおよび通常のLSTMエージェントを顕著に上回った。
• QAプローブにより、SimCoreエージェントが、これらの属性についての明示的教師なしに、物体の形状、色、数、空間的関係に関する詳細で構成的な知識をエンコードしていることが明らかになった。
• アクション条件付きCPCエージェントは、ナビゲーションや探索において有効であったが、事実的質問への回答能力に制限があり、命題的知識のエンコードが弱いことが示された。
• QAフレームワークは、エージェントへの勾配逆伝播なしに、物体アイデンティティおよび性質に関する知識を効果的に解読できた。これは、表現が意味的に豊かで安定していることを確認した。
• この手法は環境間で一般化可能であった：最初の環境で使用した同じハイパーパrameterがDeepMind Labでも一貫した結果をもたらし、堅牢性と転送性を示した。
• 結果から、生成的予測モデル（例：SimCore）は、対照的モデル（例：CPC）よりも、事実的推論や言語的一般化を支援する内部表現を形成するのに優れていることが示唆された。