[論文レビュー] A Review of Off-Policy Evaluation in Reinforcement Learning

Masatoshi Uehara, Chengchun Shi+1 more|arXiv (Cornell University)|Dec 13, 2022

Reinforcement Learning in Robotics被引用数 13

ひとこと要約

この論文は強化学習におけるオフポリシー評価（OPE）について、統計学、コンピュータサイエンス、因果推論の視点を統合した包括的なレビューを提供する。最新のOPE手法を統合的に分析し、その統計的性質、効率性の上限、長時間スパン、部分的に観測可能な状況、一般化された因果グラフ設定における課題を検討し、理論的裏付けをもつ包括的なフレームワークを提示する。offlineデータからのポリシー評価を可能にする。

ABSTRACT

Reinforcement learning (RL) is one of the most vibrant research frontiers in machine learning and has been recently applied to solve a number of challenging problems. In this paper, we primarily focus on off-policy evaluation (OPE), one of the most fundamental topics in RL. In recent years, a number of OPE methods have been developed in the statistics and computer science literature. We provide a discussion on the efficiency bound of OPE, some of the existing state-of-the-art OPE methods, their statistical properties and some other related research directions that are currently actively explored.

研究の動機と目的

• 統計学、コンピュータサイエンス、経済学の分野におけるOPE研究を統合し、強化学習と因果推論のコミュニティの間のギャップを埋めること。
• OPE推定器の統計的効率性の上限を分析し、非パラメトリック効率性が達成可能な条件を明確にすること。
• 長時間スパンおよび無限時間スパンの設定における課題、特にホライズンの悪化とofflineポリシー学習における分布シフトを検討すること。
• 部分的に観測可能なMDP（POMDP）および一般化された因果有向無閉路グラフ（DAG）におけるOPEの理論的性質を検討し、特に測定不能な交絡要因が存在する場合の影響を分析すること。
• 高次元の行動空間および決定論的ポリシーにおいて、パスワイズ微分可能性が成立しない状況における既存のOPE手法の限界を解消すること。

提案手法

• マーカフ決定過程（MDP）におけるOPEの効率的影響関数（EIF）と効率性の上限を、半パラメトリック理論を用いて導出し、推定分散の理論的上限を確立する。
• 二重にロバストな推定器、逆確率重み付け、Q推定などの最新のOPE手法をレビュー・比較し、その統計的性質とモデル誤指定に対するロバスト性に焦点を当てる。
• 構造的仮定を活用することで、モデルフリーおよびモデルベースのOPE技術をPOMDPに適応させ、ホライズンの悪化を緩和し、単一の軌道からの学習を可能にする。
• offlineポリシー最適化における懐疑的原理（pessimism principle）を導入し、分布外の行動による過剰評価を防ぎ、保守的かつ信頼性の高いポリシー学習を実現する。
• 連続的行動空間における決定論的ポリシーに対応するため、カーネルベースの推定器を提案し、このような状況におけるパスワイズ微分可能性の欠如を克服する。
• do計算の識別ルールを用いて、一般化された因果DAGへのOPEを拡張し、未測定な交絡要因が存在する場合でも非パラメトリックに効率的な推定器が存在する条件を調査する。

実験結果

リサーチクエスチョン

• RQ1 MDPにおけるオフポリシー評価の理論的効率性の上限は何か？ また、どの推定器がこれを達成するか？
• RQ2 ホライズンの悪化を克服し、単一の軌道からの学習を可能にするために、OPE手法を部分的に観測可能なMDP（POMDP）にどのように適応できるか？
• RQ3 行動ポリシーとターゲットポリシーが著しく異なる場合、offlineポリシー最適化における統計的課題は何か？ そして、懐疑的原理は過剰評価をどのように緩和できるか？
• RQ4 評価ポリシーが決定論的であるか、またはチルティング（tilting）によって定義される場合、推定の性質はどのように変化するか？ 特に連続的行動空間においては？
• RQ5 未測定な交絡要因が存在する一般化された因果DAGにおいて、非パラメトリックに効率的なOPE推定器を構築できる条件は何か？

主な発見

• MDPにおけるOPEの効率性の上限は、半パラメトリック理論を用いて導出され、正則性条件のもとで二重にロバストな推定器がこれを達成することが示された。
• POMDPでは、構造的仮定を活用するモデルフリーのOPE手法が、ホライズンの悪化を回避し、単一の軌道からもポリシー価値を一貫して推定可能である。
• 連続的行動空間における決定論的ポリシーではパスワイズ微分可能性が成立しないが、滑らかさの仮定のもとでカーネルベースの推定器が一貫した推定を達成できる。
• offlineポリシー最適化における懐疑的原理は、分布外の行動に対してペナルティを課すことで過剰評価を防ぎ、一般化性と安定性を向上させる。
• 未測定な交絡要因が存在する一般化された因果DAGでは、do計算による識別は可能であるが、広範な条件下で非パラメトリック効率性が保証されない。
• 進展は見られるが、高次元または複雑な因果グラフにおいて、非パラメトリックに効率的なOPE推定器を構築することは、未だ解決のない問題であり、特に未測定な交絡要因が存在する場合には顕著である。