[論文レビュー] Beyond Confidence Regions: Tight Bayesian Ambiguity Sets for Robust MDPs

Marek Petrik, Reazul Hasan Russell|arXiv (Cornell University)|Feb 20, 2019

Reinforcement Learning in Robotics参考文献 30被引用数 19

ひとこと要約

本稿では、集中不等式に基づく濃度領域に依存せずに、階層的事前分布とポリシー固有の最適化を用いるベイジアン手法RSVFを提案する。この手法により、安全違反を伴わず、ポリシー収益の下界を著しくタイトにできる。Hoeffding法およびベイジアン信用区間ベースラインと比較して、情報のない事前分布および情報のある事前分布の両設定で優れた性能を発揮する。

ABSTRACT

Robust MDPs (RMDPs) can be used to compute policies with provable worst-case guarantees in reinforcement learning. The quality and robustness of an RMDP solution are determined by the ambiguity set---the set of plausible transition probabilities---which is usually constructed as a multi-dimensional confidence region. Existing methods construct ambiguity sets as confidence regions using concentration inequalities which leads to overly conservative solutions. This paper proposes a new paradigm that can achieve better solutions with the same robustness guarantees without using confidence regions as ambiguity sets. To incorporate prior knowledge, our algorithms optimize the size and position of ambiguity sets using Bayesian inference. Our theoretical analysis shows the safety of the proposed method, and the empirical results demonstrate its practical promise.

研究の動機と目的

• 集中不等式に基づく濃度領域を用いる従来のRMDP手法の過剰な慎重さ（過剰保守性）を是正すること。
• データ駆動型で、事前知識を組み込んだベイジアンフレームワークを構築し、不確実性集合をタイトにし、ロバストポリシー保証を向上させること。
• 安全性を犠牲にすることなく、バッチ強化学習におけるより強く実用的なロバスト性保証を提供すること。
• 不確実性集合を、すべてのポリシーを同時にカバーするのではなく、最適ポリシーに最適化することで、保守性を低減できることを示すこと。

提案手法

• RSVF（ロバスト・セーフ・バリュー関数）を提案する。この手法は、ベイジアン推論とポリシー固有の目的関数を用いて、不確実性集合のサイズと位置を反復的に最適化する。
• 階層的ベイジアンモデルを用いて、遷移確率に関する事前知識を符号化し、よりタイトで情報度の高い不確実性集合を実現する。
• 標準的な濃度領域の代わりに、すべてのポリシーを同時にカバーする必要がないポリシー適応型不確実性集合を採用し、保守性を低減する。
• 有限標本条件下での理論的安全性保証を確保するため、新たに導出されたL1濃度不等式を用いる。
• RMDPの解法と不確実性集合の最適化をフィードバックループで統合し、事後分布の反復的精錬を通じて境界を改善する。
• ベースラインとしてベイジアン信用区間（BCI）を用い、ポリシーに配慮した適合性を追加することで、タイトさを向上させる。

実験結果

リサーチクエスチョン

• RQ1 有限標本条件下でも強い安全性保証を維持しつつ、濃度領域よりもタイトな不確実性集合を構築できるか？
• RQ2 ドメイン知識を不確実性集合の構築に効果的に統合することで、ロバスト性を向上させ、保守性を低減できるか？
• RQ3 すべてのポリシーを同時にカバーするのではなく、最適ポリシーに最適化した不確実性集合を用いることで、バッチRL設定でより良い性能が得られるか？
• RQ4 ベイジアン推論手法は、分布に依存しない濃度領域よりも、ポリシー収益の下界をタイトにできるか？

主な発見

• RSVFは、Hoeffding法に基づく濃度領域およびベイジアン信用区間（BCI）と比較して、特に情報のある事前分布がある場合に、ポリシー収益の下界を著しくタイトにしている。
• 一様事前分布を用いたRiverSwim環境では、すべての手法が0%の安全違反を示すにもかかわらず、RSVFはBCIおよびHoeffding境界と比較して、顕著にレグレットを低減している。
• 指数分布母集団モデルにおける情報のある事前分布を用いることで、RSVFはBCIをさらにタイトにし、事前知識の統合の価値を示している。
• すべての手法、RSVFを含め、実験全体で0%の安全違反を維持しており、理論的安全性保証が確認された。
• 実際の運用では依然として保守的であることが示唆されており、非長方形またはL2形状の不確実性集合による非線形最適化によりさらなる改善の余地がある。