[論文レビュー] Towards Information-Seeking Agents

Philip Bachman, Alessandro Sordoni+1 more|arXiv (Cornell University)|Dec 8, 2016

Adversarial Robustness in Machine Learning参考文献 20被引用数 9

ひとこと要約

本論文は、深層強化学習を用いて部分観測環境における情報の能動的探索を行うエージェントを訓練する一般化されたフレームワークを提案する。内的報酬と外的報酬を組み合わせることで、エージェントは視覚的パッチやテキスト文字などの情報断片を知的に照会し、不確実性を低減し、オブジェクト検出、属性分類、ハングマンなどの複雑なタスクを高い効率で解決する。CelebAでは10問で96%の精度（画像データの4%）、20問で87.1%の精度を達成し、ランダムベースラインを上回った。

ABSTRACT

We develop a general problem setting for training and testing the ability of agents to gather information efficiently. Specifically, we present a collection of tasks in which success requires searching through a partially-observed environment, for fragments of information which can be pieced together to accomplish various goals. We combine deep architectures with techniques from reinforcement learning to develop agents that solve our tasks. We shape the behavior of these agents by combining extrinsic and intrinsic rewards. We empirically demonstrate that these agents learn to search actively and intelligently for new information to reduce their uncertainty, and to exploit information they have already acquired.

研究の動機と目的

• 部分観測環境においてエージェントが効率的に情報を収集するための一般化された問題設定の開発。
• 内的報酬と外的報酬を組み合わせることで、エージェントが能動的かつ目的志向的な情報探索を学習可能にする。
• エージェントが知的に照会することで不確実性を低減し、得られた情報を効果的に活用できることの実証。
• 情報利得ヒューリスティクスがタスク固有の設定でパフォーマンスを向上させることの実証。
• オブジェクト検出、属性分類、テキストベースの当てずっぽうゲームなど、多様なタスクにおけるアプローチの妥当性の検証。

提案手法

• 各ステップで情報量の多い領域（例：画像パッチや文字）を選択するため、アテンション機構を備えた深層ニューラルネットワークを用いる。
• タスク固有の（外的）報酬と不確実性低減（内的）報酬を組み合わせた報酬形状戦略を用いた強化学習。
• エージェントの方策は、各ターンで制限された情報しか得られない環境との試行錯誤的相互作用を通じて、期待累積報酬を最大化するように学習される。
• 視覚タスク（例：クラッターなMNIST、CelebA）には2次元畳み込みアーキテクチャを、テキストベースのタスク（例：ハングマン）には1次元畳み込みネットワークを適用する。
• 不確実性の高い状態での探索を促進するため、情報利得ヒューリスティクスを内的報酬として用いる。
• 複数の照会から得た情報を統合して内部的表象を構築し、最終予測を下す。

実験結果

リサーチクエスチョン

• RQ1 エージェントは、不確実性を低減しタスクパフォーマンスを向上させるために、部分観測環境で能動的に情報を探索することができるか？
• RQ2 内的報酬（情報利得）と外的報酬（タスク報酬）を組み合わせることで、情報探索行動にどのような影響を与えるか？
• RQ3 一様な、一般的なエージェントアーキテクチャが、多様な情報探索タスクにどの程度一般化可能か？
• RQ4 完全入力ベースラインと比較して、エージェントの情報使用効率はどの程度高いか？
• RQ5 20の質問やハングマンなどのタスクにおいて、情報探索行動を人間の推論に類似させ、解釈可能にできるか？

主な発見

• 20の質問タスクでは、10問（画像データの4%）で96%の精度を達成し、ランダム方策（71%の精度）を上回った。
• CelebAデータセットでは、20問（90ピクセル、画像の1%未満）で87.1%の精度を達成し、完全画像上界（88.3%）に近く、上回った。
• 内的報酬形状を施したモデルは、CelebAでランダムベースライン（76.5%）を著しく上回り、効果的な情報収集を実現した。
• ハングマンでは、頻度ベースやランダム方策と比較して、誤った予測回数をより効果的に減らしたことが、ゲーム完了の累積分布から明らかになった。
• 無益な探索を避ける学習が進み、主な誤りはキーモノクロが検出されなかった場合に発生した。
• 蓄積された不確実性に基づき、質問戦略を動的に調整する知的な行動を示した。例えば、20の質問でイエローキャスケードを特定し、発言の信頼性を低下させた。