[論文レビュー] Off-Policy Evaluation for Action-Dependent Non-Stationary Environments

Yash Chandak, Shiv Shankar+4 more|arXiv (Cornell University)|Jan 24, 2023

Multi-Criteria Decision MakingDecision Sciences被引用数 3

ひとこと要約

本稿では、行動依存的変化を伴う非定常環境における新しいオフポリシー評価手法OPENを提案する。二重反事後的推論と重要度加重インストゥルメンタル変数回帰を用いてバイアスと分散を低減する。アクティブ、パasive、ハイブリッドな非定常設定において、将来のポリシー性能を予測する性能が優れており、パasiveな状況でさえも先行手法を上回る。

ABSTRACT

Methods for sequential decision-making are often built upon a foundational assumption that the underlying decision process is stationary. This limits the application of such methods because real-world problems are often subject to changes due to external factors (passive non-stationarity), changes induced by interactions with the system itself (active non-stationarity), or both (hybrid non-stationarity). In this work, we take the first steps towards the fundamental challenge of on-policy and off-policy evaluation amidst structured changes due to active, passive, or hybrid non-stationarity. Towards this goal, we make a higher-order stationarity assumption such that non-stationarity results in changes over time, but the way changes happen is fixed. We propose, OPEN, an algorithm that uses a double application of counterfactual reasoning and a novel importance-weighted instrument-variable regression to obtain both a lower bias and a lower variance estimate of the structure in the changes of a policy's past performances. Finally, we show promising results on how OPEN can be used to predict future performances for several domains inspired by real-world applications that exhibit non-stationarity.

研究の動機と目的

• アクティブ、パasive、またはハイブリッドな非定常性を示す環境におけるオフポリシー評価の根本的課題に取り組む。従来の手法は非定常ダイナミクスのため失敗する。
• 定常性を仮定するか、リセット／エルゴディック性に依存する既存のオフポリシー評価手法の限界を克服する。これは、長期間にわたる現実世界のデータでは成立しない。
• 完全なモデル推定を必要とせず、非定常環境における構造的変化を推論する統一フレームワークを構築する。主にポリシー性能予測に焦点を当てる。
• 非定常ドメインにおいて、行動ポリシーからの歴史的データのみを用いて、ターゲットポリシーの将来の性能を信頼性高く予測可能にする。
• ハイパーパramータの選択に頑健で、アクティブおよびパasiveな非定常性の両方を効果的に処理できるモデルフリー手法を提供する。

提案手法

• 高階の定常性仮定を導入する。非定常性は時間とともに変化するが、変化のメカニズムは固定されている。これにより、構造的変化のパターンの推論が可能になる。
• 二重反事後的推論を適用する。第一段階では、重要度サンプリングを用いて過去のポリシー性能のノイズ除去推定値を生成し、第二段階では自己回帰的モデリングにより将来の性能を予測する。
• 二段階のインストゥルメンタル変数回帰を用いて、重要度サンプリング推定値のノイズ除去を行い、将来の性能予測の前に過去の性能推定における分散を低減する。
• ラグ付き過去の性能を用いた自己回帰的時系列モデリングを活用して将来の性能を予測する。これにより、モデルの誤指定に対しても頑健性が向上する。
• 重要度加重回帰を用いて、行動依存的非定常性が引き起こす分布シフトを補正し、異なるポリシー行動間で一貫した推定が可能になるようにする。
• モデルフリーであり、エピソード的および継続的設定の両方に適用可能であるように設計する。リセットや定常分布の仮定は不要である。

Figure 1: RoboToy domain.

実験結果

リサーチクエスチョン

• RQ1 行動依存的非定常性を持つ環境で、過去の行動が将来のシステムダイナミクスに影響を与える場合、オフポリシー評価を信頼性高く行うことは可能か？
• RQ2 パasive、アクティブ、またはハイブリッドな構造的非定常性を活用して、完全な環境モデル推定を伴わずに将来のポリシー性能を予測することは可能か？
• RQ3 反事後的推論を二度適用することで、特にバイアスと分散の低減に寄与するのか？非定常設定において推定精度が向上するか？
• RQ4 インストゥルメンタル変数回帰と自己回帰的予測に基づく手法が、パasive非定常性を想定した既存のアプローチを、パasiveおよびアクティブな設定の両方で上回るか？
• RQ5 ハイパーパramータの選択に対して、提案手法はどの程度頑健か？特にフォーリエベースの回帰のようなパrametric手法と比較して。

主な発見

• OPENは、アクティブおよびハイブリッドな非定常性を含むすべての非定常ドメインで、WISおよびPro-WLSを著しく上回り、バイアスおよび平均二乗誤差（MSE）の両面で優れた性能を示す。
• 行動依存的変化が発生しないパasive非定常性設定においても、OPENは依然として正確な予測を提供する。ただし、二重反事後的補正は理論的には余分である。
• Pro-WLSは、フォーリエ基底の次数に敏感であるため、項の数が不足しているか多すぎる場合に高いバイアスと分散を示し、外挿性能が著しく劣化する。
• OPENの固定ラグ300項の自己回帰構造は、Pro-WLSのパrametricなフォーリエ回帰よりもハイパーパramータ選択に対してより頑健である。
• アブレーションスタディにより、OPENの性能はラグ値の広い範囲で安定しており、予測の一般化能力と信頼性が強いことが確認された。
• 各設定で30回の独立試行を実施した結果、OPENはすべてのドメインおよび非定常性速度において、ベースラインを常に下回るMSEとバイアスを達成し、統計的信頼性を示した。

Figure 2: Control Graph for the non-stationary process. See text for symbol definitions.