[論文レビュー] Black-Box Policy Search with Probabilistic Programs

Jan-Willem van de Meent, Brooks Paige+2 more|arXiv (Cornell University)|Jul 16, 2015

Reinforcement Learning in Robotics参考文献 45被引用数 19

ひとこと要約

この論文では、ブラックボックス変分推論（BBVI）を用いて周辺尤度に対する確率的勾配上昇を実行することで、確率的プログラムとしてポリシーを表現し、そのパラメータを学習するブラックボックスポリシーラーニング（BBPL）という手法を紹介する。このアプローチにより、モデルに依存しない、自動的なポリシー学習が、複雑な順序的意思決定問題において可能となり、カナダ旅行者問題、RockSample、Guess Whoの領域において、ベースラインを上回る優れた性能を示した。

ABSTRACT

In this work, we explore how probabilistic programs can be used to represent policies in sequential decision problems. In this formulation, a probabilistic program is a black-box stochastic simulator for both the problem domain and the agent. We relate classic policy gradient techniques to recently introduced black-box variational methods which generalize to probabilistic program inference. We present case studies in the Canadian traveler problem, Rock Sample, and a benchmark for optimal diagnosis inspired by Guess Who. Each study illustrates how programs can efficiently represent policies using moderate numbers of parameters.

研究の動機と目的

• 順序的意思決定問題におけるパrametricポリシーの表現と学習のための汎用フレームワークを開発すること。
• ブラックボックス変分推論（BBVI）とポリシー探索を統合し、分野特化のアルゴリズム設計を必要とせずに、自動的なパrameter学習を可能にすること。
• 確率的プログラムが、複雑なポリシーをコンactに表現しつつ、効率的でモデルに依存しない学習を可能にできることを示すこと。
• 標準的なベースラインを上回る性能を示すために、定番の強化学習および最適診断問題において、この手法の評価を行うこと。

提案手法

• 行動選択戦略を定義するための確率的プログラミング構文を用いて、調整可能なパラメータを備えた確率的プログラムとしてポリシーを表現する。
• 報酬をベイジアンモデルにおける尤度重みとして扱うことで、周辺尤度の最大化としてポリシー学習を定式化する。
• ブラックボックス変分推論（BBVI）を適用し、周辺尤度に対する確率的勾配上昇を実行することで、ポリシーのパラメータのエンドツーエンド学習を可能にする。
• 推論のアンモタイゼーションを用いて、ポリシーの内部論理を経由する勾配計算を必要とせずに、効率的な学習を実現する。
• 勾配ベースの最適化により、自動推論とパラメータ学習が可能な確率的プログラミングシステム（Anglican）にフレームワークを実装する。
• 確率的プログラムの構造を活用して、ドメイン固有の仮定を埋め込み、探索空間を縮小しつつも表現力を維持する。

実験結果

リサーチクエスチョン

• RQ1 確率的プログラムは、広範なパラメトリックポリシークラスを、コンactかつ表現力豊かに表現できるか？
• RQ2 ブラックボックス変分推論は、任意の確率的シミュレータにおけるポリシー探索に適応可能か？
• RQ3 このアプローチは、部分観測可能な構造的意思決定問題において、標準的なポリシーグラデントおよびヒューリスティックベースラインを上回る性能を示せるか？
• RQ4 ドメイン知識をプログラム構造に埋め込むことで、学習されたポリシーがエピソード間でどの程度一般化できるか？
• RQ5 高次元または複雑なポリシー空間において、この手法は学習効率および性能の面でどの程度スケーラブルか？

主な発見

• BBPL手法は、道路の閉鎖に適応するエッジの好ましさを学習することで、カナダ旅行者問題においてほぼ最適な性能を達成した。
• RockSample領域では、学習されたポリシーが構造的な行動を示した—5×5のケースでは左上の岩を左上の中の岩よりも先に訪問し、10×10のケースでは左端の岩に沿った決定的な経路をたどった。
• Guess Who領域では、学習されたポリシーはランダムおよび短絡的な情報利得ベースラインを上回り、単純なヒューリスティックポリシーであっても学習された重みを備えることで、標準的手法を凌駆する能力を示した。
• 独立した学習ランにおいても、報酬の収束が安定しており、収束性と学習の安定性が裏付けられた。
• 確率的プログラムの使用により、コンactなポリシー表現と、意思決定論理をハードコードせずに自動的なパラメータ学習が可能となり、フレームワークの汎用性と表現力が実証された。
• 結果から、確率的プログラミングとBBVIを組み合わせることで、構造的かつ部分観測可能な環境において、従来のポリシーグラデント手法のスケーラブルで柔軟な代替手段が得られると示唆された。