[論文レビュー] A comparative study of counterfactual estimators

Thomas Nédelec, Nicolas Le Roux+1 more|arXiv (Cornell University)|Apr 3, 2017

Advanced Causal Inference Techniques参考文献 14被引用数 4

ひとこと要約

本稿では、オフポリシーの反事後推定器—基本的重要度サンプリング（BIS）、正規化重要度サンプリング（NIS）、実証的平均（EA）、および融合推定器—の包括的な比較を提供しており、NISが報酬の分散に応じてBISとEAの間の補間として機能することを示している。主な貢献は、低分散領域においてFused Importance Sampling（FIS）を上回る最適な不偏推定器の導出であり、CartPoleおよびブラックジャック環境における実証的検証により、MSEの顕著な低減が確認された。

ABSTRACT

We provide a comparative study of several widely used off-policy estimators (Empirical Average, Basic Importance Sampling and Normalized Importance Sampling), detailing the different regimes where they are individually suboptimal. We then exhibit properties optimal estimators should possess. In the case where examples have been gathered using multiple policies, we show that fused estimators dominate basic ones but can still be improved.

研究の動機と目的

• 広く用いられているオフポリシー推定器（BIS、NIS、EA）が非効率となる領域を特定すること。
• バイアス-バリアンストレードオフおよび平均二乗誤差（MSE）の観点から、最適な推定器に望ましい性質を定義すること。
• データ収集に複数の行動ポリシーを用いる設定に推定器を拡張し、基本的な融合推定器を改善すること。
• Fused Importance Sampling（FIS）を下回らない最適な不偏推定器を導出し、実証的に検証すること。
• 報酬の分散とデータ収集ポリシーに基づく推定器選択の実用的ガイドラインを提供すること。

提案手法

• BIS、NIS、EAを行動ごとの重み付き平均として再定式化し、重みは重要度サンプリング比と実証的カウントから導出する。
• 報酬分散の異なる領域における各推定器のバイアスとバリアンスを分析し、高分散下ではBISが最適であり、決定的報酬下ではEAが最適であることを示す。
• 複数のポリシーを用いたデータ収集に適したFused Importance Sampling（FIS）を導入し、複数のポリシーが使用される状況でBISを上回ることを証明する。
• 不偏性の制約下でMSEを最小化することで、最適な不偏推定器（OUIS）を導出する。この際、ポリシー固有の重要度重みを用いる。
• CartPoleおよびブラックジャック環境で、300回および1000回のロールアウトを用いて、段階的推定器を用いて性能を検証する。
• 比較的評価のための信頼区間とRMSE／平均二乗誤差を算出するために、ブートストラップ法（400～2000回の反復）を採用する。

実験結果

リサーチクエスチョン

• RQ1 BIS、NIS、EAは、どのような状況でオフポリシー評価において非効率となるか？
• RQ2 NISの性能はBISおよびEAとどのように関係しており、これらの中間的補間と解釈できるか？
• RQ3 複数のポリシーを用いてデータ収集が行われる場合、Fused Importance Sampling（FIS）はBasic Importance Sampling（BIS）を上回るか？
• RQ4 低分散状況でFISを上回る最適な不偏推定器を導出できるか？
• RQ5 正規化バージョン（例：NFIS、NOUIS）は、それらの不偏対応物と比較してMSEの観点で優れているか？

主な発見

• 正規化重要度サンプリング（NIS）は、基本的重要度サンプリング（BIS）と実証的平均（EA）の間の補間として機能し、報酬分散が高い状況ではBISが最適であり、決定的報酬下ではEAが最適である。
• 複数のポリシーを用いてデータ収集が行われる場合、Fused Importance Sampling（FIS）はBasic Importance Sampling（BIS）を上回ることを、本稿で証明した。
• 提案された最適な不偏推定器（OUIS）は、低分散領域でFISを下回るMSEを達成し、CartPole環境ではRMSEが23.13（平均）対25.38を記録した。
• ブラックジャック環境では、OUISは探索率ε²ₜ下で平均MSEが0.0860を達成し、FIS（0.0875）を上回り、理論的下限に近づいた。
• 最適推定器の正規化版（NOUIS）はNFISを上回らないことが判明し、より良い不偏重みが、より良い正規化推定器を保証するわけではないことが示された。
• 低分散状況では、最適な不偏推定器（OUIS）は、CartPole実験においてFISに比べて平均RMSEを10.5％低減し、7.91対25.38（平均RMSE）を記録した。