[論文レビュー] Policy Certificates: Towards Accountable Reinforcement Learning

Christoph Dann, Lihong Li+2 more|arXiv (Cornell University)|Nov 7, 2018

Advanced Bandit Algorithms Research参考文献 43被引用数 19

ひとこと要約

本論文は強化学習におけるリアルタイムの責任性を可能にする、期待報酬の信頼区間および劣化の上限を含むポリシー証明書を導入する。OFU（不確実性への楽観主義）とモデルベースのポリシー評価を組み合わせることで、提案されたORLCアルゴリズムは、低次の項を除いてミニマックス最適なPACバウンドを達成し、特に高ホライズン設定において、表形式MDPで優れたサンプル効率を示す。

ABSTRACT

The performance of a reinforcement learning algorithm can vary drastically during learning because of exploration. Existing algorithms provide little information about the quality of their current policy before executing it, and thus have limited use in high-stakes applications like healthcare. We address this lack of accountability by proposing that algorithms output policy certificates. These certificates bound the sub-optimality and return of the policy in the next episode, allowing humans to intervene when the certified quality is not satisfactory. We further introduce two new algorithms with certificates and present a new framework for theoretical analysis that guarantees the quality of their policies and certificates. For tabular MDPs, we show that computing certificates can even improve the sample-efficiency of optimism-based exploration. As a result, one of our algorithms is the first to achieve minimax-optimal PAC bounds up to lower-order terms, and this algorithm also matches (and in some settings slightly improves upon) existing minimax regret bounds.

研究の動機と目的

• 探索中のパフォーマンスの変動による強化学習における責任性の欠如に対処する。
• 高リスクな応用において、ポリシーのパフォーマンスが認証されたしきい値未満に下がった際に人間の干渉を可能にする。
• 学習中にエピソードごとのパフォーマンスバウンドを保証する理論的枠組み（IPOC）を開発する。
• OFUベースのアルゴリズムにポリシー証明書を活用することで、サンプル効率を向上させる。
• コンテキストMDPにまで責任性を拡張し、患者やコンテキストの特性に応じてポリシーの質が変化する状況をカバーする。

提案手法

• 期待報酬の信頼区間（ポリシー報酬証明書）と劣化の上限（ポリシー最適性証明書）からなるポリシー証明書を提案する。
• エピソードごとのパフォーマンス保証を形式的に分析するIPOCフレームワークを導入し、レグレット、PAC、KWIKフレームワークよりも強い保証を可能にする。
• 同じ経験的モデルを用いて、OFUベースのポリシー学習とモデルベースのポリシー評価を統合する。
• 遷移および報酬モデルの信頼集合を用いて、ポリシー報酬と最適報酬のロバストバウンドを計算する。
• 表形式MDPおよび線形コンテキストを有する有限MDPにこの手法を適用し、コンテキストに依存するパフォーマンス認証を可能にする。
• 楽観主義と信頼集合の双対性を活用し、証明書の精度とポリシー学習の性能を同時に向上させる。

実験結果

リサーチクエスチョン

• RQ1 強化学習アルゴリズムは、人間の監視を支援するために、学習中にリアルタイムで解釈可能なパフォーマンス保証を提供できるか？
• RQ2 エピソード的強化学習において、期待報酬と劣化の両方をバウンドするポリシー証明書はどのように構築できるか？
• RQ3 ポリシー証明書をOFUベースのRLアルゴリズムに組み込むことで、サンプル効率が向上するか？
• RQ4 IPOCフレームワークは、PAC、レグレット、KWIKなどの既存フレームワークよりも強い理論的保証を提供できるか？
• RQ5 パフォーマンスの変動が顕著な高ホライズンまたはコンテキスト依存MDPにおいて、ポリシー証明書はどのように機能するか？

主な発見

• ORLCアルゴリズムは、表形式MDPにおいて、低次の項を除いてミニマックス最適なPACバウンドを達成し、既存の最先端のバウンドを上回る。
• 高ホライズンMDP（H=50）において、UCBVI-BFとUBEVの両者と同様にミニマックス最適なレグレットバウンドを持つにもかかわらず、ORLCは最適ポリシーへの収束が著しく速い。
• ORLCにおけるポリシー証明書は、コンテキストに依存しない多腕バンディット問題においても、探索中のパフォーマンス低下を的確に予測する。これは、コンテキストベースのベースラインが失敗する状況でも同様に有効である。
• 証明書の計算自体がOFUアルゴリズムの性能を向上させることを示しており、認証と学習効率の間の相乗効果が確認された。
• コンテキストMDPでは、レアまたは異常なコンテキストに対して低品質なポリシーを早期に検出でき、人的な干渉を迅速に行える。
• 実験結果から、証明書計算から得られるよりタイトな楽観主義ボーナスにより、ORLCはUCBVI-BFの近似バウンドを用いる場合よりも優れたサンプル効率を達成している。