[論文レビュー] Planning to Be Surprised: Optimal Bayesian Exploration in Dynamic Environments

Yi Sun, Faustino Gomez+1 more|arXiv (Cornell University)|Mar 29, 2011

Machine Learning and Algorithms参考文献 8被引用数 27

ひとこと要約

本稿では、情報利得を学習進捗の指標として用いることで、動的環境における最適ベイジアン探索戦略を提案する。探索を逐次意思決定問題として定式化し、即時の情報利得と長期的な情報利得のバランスを取るための好奇心（Q）値を導出。動的プログラミングが有限MDPにおける最適方策を効果的に近似できることを証明し、ランダム法、グリーディ法、Qラーニングベースの探索戦略を著しく上回ることを示した。

ABSTRACT

To maximize its success, an AGI typically needs to explore its initially unknown world. Is there an optimal way of doing so? Here we derive an affirmative answer for a broad class of environments.

研究の動機と目的

• 未知の動的環境における最適な行動選択の課題に取り組む。ここでの探索効率は学習成功に直接影響を与える。
• 環境パラメータの事後分布と事前分布のKLダイバージェンスを用いて、シャノンの情報利得として学習進捗を形式化する。
• 時間経過にわたる累積期待情報利得を最大化する理論的根拠に基づいた探索戦略を導出する。
• 有限MDPにおける最適ベイジアン探索が、動的プログラミングを用いて効果的に近似可能であることを示す。
• 制御されたMDP環境において、本手法をランダム法、グリーディ法、Qラーニングベースの探索戦略と比較する。

提案手法

• 環境を潜在的パラメータθと事前分布p(θ)でモデル化し、観測モデルp(o|ha;θ)を用いてベイジアン更新により信念を更新する。
• 情報利得を事後分布と事前分布のKLダイバージェンスとして定義し、履歴hからh′への学習進捗を測定する。
• 行動aを履歴hのもとでとったときの期待情報利得g(a|h)としての好奇心（Q）値を導入し、逐次的意思決定を可能にする。
• 情報利得の再帰的分解を導出し、最適方策計算のための動的プログラミング定式化を支援する。
• 期待情報利得を報酬信号として用いた方策反復を適用し、最適ベイジアン探索方策の近似を実現する。
• MDPにおける遷移確率にディリクレ事前分布を用いることで、ベイジアン推論と情報利得計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 動的で部分的にしか把握されていない環境において、エージェントは累積期待情報利得を最大化するように最適に行動を選択できるか？
• RQ2 情報利得はどのように形式的に測定され、時間経過にわたって分解可能か？これにより探索における逐次的意思決定がどのように支援されるか？
• RQ3 ベイジアン探索の文脈において、即時の情報利得と長期的な情報利得の関係は何か？
• RQ4 有限MDPにおいて、最適ベイジアン探索方策はどの程度動的プログラミングを用いて近似可能か？
• RQ5 本手法は、ランダム法、グリーディ法、Qラーニングベースの探索戦略と比較して、情報利得の蓄積においてどの程度優れているか？

主な発見

• 動的プログラミングによる最適ベイジアン探索の近似は、初期段階の情報利得蓄積において、ランダム法、グリーディ法、Qラーニングベースの探索を著しく上回る。
• 即時の情報利得を報酬として用いたQラーニングでは、決定的遷移において初期観測後に情報利得が急速に低下するため、効果的な探索ができない。
• グリーディ探索戦略はランダム法よりも優れているが、長期的計画が欠如しているため、DP近似に比べて依然として劣る。
• 提案された好奇心（Q）値の定式化により、即時の情報利得と将来の情報利得の原理的バランスが実現され、従来の手法の主要な欠陥が是正された。
• 2つのクラスタを有する60状態のMDPと50状態のコリドア環境において、DPベースの手法は4,000ステップ以内に最高の累積情報利得を達成した。
• 理論的枠組みにより、動的環境における最適ベイジアン探索が原則として達成可能であり、有限MDPにおいては動的プログラミングを用いて近似可能であることが確立された。