[論文レビュー] Experimental and causal view on information integration in autonomous agents

Philipp Geiger, Katja Hofmann+1 more|arXiv (Cornell University)|Jun 14, 2016

Reinforcement Learning in Robotics参考文献 17被引用数 3

ひとこと要約

本稿は、シミュレーテッド実験と因果的推論を用いて、自律エージェントが動画、センサデータ、因果モデルなどの異種情報源を統合する方法を調査する。エージェントが外部観測と因果的知識を活用してデータ効率の良い意思決定を実現するためのフレームワークを提案し、Malmoプラットフォームにおける実験と情報統合マッピングの理論的分析を通じてその実現可能性を示している。

ABSTRACT

The amount of digitally available but heterogeneous information about the world is remarkable, and new technologies such as self-driving cars, smart homes, or the internet of things may further increase it. In this paper we present preliminary ideas about certain aspects of the problem of how such heterogeneous information can be harnessed by autonomous agents. After discussing potentials and limitations of some existing approaches, we investigate how \emph{experiments} can help to obtain a better understanding of the problem. Specifically, we present a simple agent that integrates video data from a different agent, and implement and evaluate a version of it on the novel experimentation platform \emph{Malmo}. The focus of a second investigation is on how information about the hardware of different agents, the agents' sensory data, and \emph{causal} information can be utilized for knowledge transfer between agents and subsequently more data-efficient decision making. Finally, we discuss potential future steps w.r.t.\ theory and experimentation, and formulate open questions.

研究の動機と目的

• 動画、センサデータ、因果モデルなどの多様で異種の情報源を自律エージェントが効果的に統合する方法を調査すること。
• 複雑な環境における情報統合の課題を理解するうえで、シミュレーテッド実験の役割を評価すること。
• 因果モデルとハードウェア・センサメタデータが、データ効率の良い学習のためのエージェント間の知識転送をどのように可能にするかを検討すること。
• 情報統合をアルゴリズムに暗黙的に埋め込むのでなく、明示的かつモジュラーに表現するための設計原則を特定すること。
• 自律走行車両などの実世界の応用に向けたスケーラブルで理論的指針に従った情報統合の基盤を築くこと。

提案手法

• 制御されたオープンエンドの環境で、ターゲットエージェントがソースエージェントの動画データを観測するよう、Malmoプラットフォームを用いてシミュレーションを実施する。
• 外部の動画観測を処理し、自らの感覚入力と統合して意思決定を行う単純なエージェントアーキテクチャを設計する。
• 行動、観測、環境状態の間の関係を表現するための因果モデルを適用し、原因と結果の依存関係についての推論を可能にする。
• GPS、動画、レーザースキャンなどの異種入力を統一された表現に変換するマッピング関数を導入し、意思決定に活用する。
• 類似したハードウェアや感覚モダリティを持つソースエージェントからの知識を再利用することで、ターゲットエージェントにおけるデータ効率を向上させる、転移学習の原則を採用する。
• 情報統合を学習アルゴリズムに組み込むのでなく、明示的な入力変換として扱う、モジュラーなフレームワークを提案する。

実験結果

リサーチクエスチョン

• RQ1 シミュレーテッド環境において、別のエージェントの動画データをどのようにターゲットエージェントの意思決定プロセスに効果的に統合できるか。
• RQ2 因果モデルとハードウェア・センサメタデータは、自律エージェント間での知識転送とデータ効率をどの程度向上できるか。
• RQ3 異種情報源を行動可能な知識に明示的に表現・変換するための主要な設計原則は何か。
• RQ4 エージェント間でのデータ共有において、プライバシー制約をどのように考慮しながら情報統合をバランスさせるか。
• RQ5 エージェント間で異種情報の統合を自動化する際に、理論的および実践的限界は何か。

主な発見

• Malmoを用いた実験により、ターゲットエージェントがソースエージェントの動画観測を活用してナビゲーションタスクにおける自身のパフォーマンスを向上させられることを示した。
• 因果モデリングにより、直接観測が不完全または遅延している場合でも、行動の影響を推論できるようになった。
• ハードウェアおよびセンサメタデータの明示的統合により、類似した物理的構成を持つエージェント間での知識転送がより効率的に行えるようになった。
• 研究では、異種データを共通の因果モデルにマッピングすることで、単純な統合手法に比べて意思決定のロバスト性が著しく向上することが明らかになった。
• n個のエージェント間で知識を転送する際、必要なマッピング数をn²からnに削減できたため、スケーラビリティの利点が示された。
• 著者らは、事前知識と異種情報が常に区別可能ではないことを見いだし、モジュラーなシステム設計に課題を提起した。