[論文レビュー] Off-Policy Evaluation via the Regularized Lagrangian

Mengjiao Yang, Ofir Nachum+3 more|arXiv (Cornell University)|Jul 7, 2020

Advanced Causal Inference Techniques参考文献 31被引用数 23

ひとこと要約

本稿は、DICE系列のオフポリシー評価推定器を、共通の線形計画問題の正則化ラグランジュ関数として統一し、双対解が最適化安定性とバイアスの低減をもたらすことを明らかにした。著者らは、この枠組みを通じてより広範な推定器のクラスを同定し、複数の環境において、双対正則化手法がプライマルおよび正則化なしの手法に比べ、安定性と精度の両面で優れていることを実証的に示した。

ABSTRACT

The recently proposed distribution correction estimation (DICE) family of estimators has advanced the state of the art in off-policy evaluation from behavior-agnostic data. While these estimators all perform some form of stationary distribution correction, they arise from different derivations and objective functions. In this paper, we unify these estimators as regularized Lagrangians of the same linear program. The unification allows us to expand the space of DICE estimators to new alternatives that demonstrate improved performance. More importantly, by analyzing the expanded space of estimators both mathematically and empirically we find that dual solutions offer greater flexibility in navigating the tradeoff between optimization stability and estimation bias, and generally provide superior estimates in practice.

研究の動機と目的

• 正則化ラグランジュ関数に基づく統一的理論枠組みを用いて、分散しているDICE推定器を統合すること。
• オフポリシー評価のための安定なミニマックス最適化に移行する際の、線形計画問題の重要な設計選択を同定・分析すること。
• DICE推定器における最適化安定性と推定バイアスのトレードオフを探索すること。
• 拡張された推定器空間の体系的分析を通じて、改善されたOPE手法を発見すること。
• 双対正則化推定器が、安定性および正確性の両面で既存手法を上回ることを実証的に検証すること。

提案手法

• ポリシー評価問題から導出された線形計画問題（d-LP）としてオフポリシー評価を定式化する。
• 既存のDICE推定器を、同一のd-LPの特定の正則化ラグランジュ関数の例として再解釈する。
• 双対変数の正則化および冗長制約の導入により最適化を安定化させる。
• DICE推定器の空間における新しい設定を探索する統一フレームワークを提案する。
• 線形およびニューラルネットワークの関数近似器を用いて、環境をまたいで推定器の性能を評価する。
• アブレーションスタディおよび報酬変換実験を実施し、正則化および制約の効果を隔離する。

実験結果

リサーチクエスチョン

• RQ1 DICE推定器の多様な導出プロセスを、一つの理論的枠組みで統一することは可能か？
• RQ2 オフポリシー評価における最適化安定性と推定バイアスのバランスをとる上で、双対解が果たす役割は何か？
• RQ3 プライマル変数と双対変数の正則化の違いは、推定器の性能および安定性にどのように影響するか？
• RQ4 正則化ラグランジュ構成の拡張された空間を探索することで、新たな優れたDICE推定器を発見できるか？
• RQ5 正の制約および冗長制約の導入は、訓練の安定性と推定精度をどの程度向上させるか？

主な発見

• 双対正則化推定器は、プライマル正則化または正則化なしの手法に比べ、著しく優れた最適化安定性を示した。
• 最も優れた性能を示した推定器、BestDICEは、元のラグランジュ関数のプライマルおよび双対バージョンをすべて上回った。
• 双対変数の正則化は、報酬スケーリングやシフトに対しても、プライマル変数の正則化よりもより安定かつバイアスの小さい推定をもたらした。
• プライマル変数に対する正の制約は訓練の安定性を向上させたが、制約なしの形態はより安定だったが、バイアスを生じる可能性があった。
• 冗長制約および双対正則化の導入は、最適化の安定性にとって不可欠であり、正則化なしのラグランジュソルバーが失敗したのを示した。
• Grid、Reacher、CartPole環境における実証的結果から、双対正則化推定器がより一般化しやすく、報酬変換に対して感受性が低いことが確認された。