[論文レビュー] Efficient Policy Learning from Surrogate-Loss Classification Reductions

Andrew Bennett, Nathan Kallus|arXiv (Cornell University)|Feb 12, 2020

Statistical Methods and Inference参考文献 27被引用数 7

ひとこと要約

本稿では、観測データからの効率的な方策学習のための一般化モーメント法（GMM）に基づく手法であるESPRMを提案する。これは、サロゲート損失分類還元を滑らかなゲーム最適化問題に再定式化し、ニューラルネットワークを用いて解けるようにしたものである。標準的な経験的リスク最小化（ERM）とは異なり、ESPRMは条件付きモーメントモデルにおける半パラメトリック効率性を活用することで、平均二乗誤差と後悔を低減し、合成データおよび実世界の職業訓練実験において、ERMより一貫した改善を示している。

ABSTRACT

Recent work on policy learning from observational data has highlighted the importance of efficient policy evaluation and has proposed reductions to weighted (cost-sensitive) classification. But, efficient policy evaluation need not yield efficient estimation of policy parameters. We consider the estimation problem given by a weighted surrogate-loss classification reduction of policy learning with any score function, either direct, inverse-propensity weighted, or doubly robust. We show that, under a correct specification assumption, the weighted classification formulation need not be efficient for policy parameters. We draw a contrast to actual (possibly weighted) binary classification, where correct specification implies a parametric model, while for policy learning it only implies a semiparametric model. In light of this, we instead propose an estimation approach based on generalized method of moments, which is efficient for the policy parameters. We propose a particular method based on recent developments on solving moment problems using neural networks and demonstrate the efficiency and regret benefits of this method empirically.

研究の動機と目的

• 効率的な方策価値推定器を用いても、標準的な経験的リスク最小化（ERM）が方策学習において非効率であるという問題に対処すること。
• サロゲート損失分類による方策学習において、正しいモデル仕様化が標準分類とは異なり、効率的推定をもたらさない理由を特定すること。
• 条件付きモーメント問題として問題を定式化することにより、方策パラメータに対して半パラメトリック効率性を達成する手法を開発すること。
• 実証的に、提案手法が推定誤差および後悔を低減することを示すこと、特にデータが少ない状況下で顕著である。

提案手法

• 正しい仕様のもとで方策学習を条件付きモーメント問題として再定式化し、一般化モーメント法（GMM）を用いて効率的推定を可能にする。
• GMM推定量の効率的解法をニューラルネットワークベースのアプローチとして定式化し、滑らかなゲーム最適化問題に変換する。
• 近年の深層学習の進展を活用して、モーメント条件を効率的に解くために敵対的訓練を用いる。
• 方策学習からのサロゲート損失還元（例：ロジスティック、ハンジング）に適用し、パラメータ推定の効率性を保証する。
• クロスフィッティングおよびヌイアンス推定（例：結果モデルおよび指向性モデル）を用いて、ロバストネスと効率性を維持する。
• 合成データおよび個人化方策学習を目的とした実世界の職業訓練実験を用いて、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 なぜサロゲート損失分類による方策学習における正しい仕様化が、標準的二値分類とは異なり、効率的推定を保証しないのか？
• RQ2 サロゲートモデルが正しい仕様化されている場合に、GMMベースのアプローチが方策パラメータ推定において半パラメトリック効率性を達成できるか？
• RQ3 提案手法は、方策学習において標準的なERMと比較して、推定誤差（MSE）および後悔を低減するか？
• RQ4 モデルの誤指定およびデータが少ない状況下での手法の性能はいかがなものか？

主な発見

• 正しいモデル仕様のもとで、ESPRMはERMと比較して最適方策パラメータ推定における平均二乗誤差を顕著に低減した。
• ジョブズケーススタディにおいて、ESPRMは線形方策で4.42±3.78、柔軟方策で7.68±3.16の平均方策値を達成し、ERMの-0.96±4.32および-1.75±4.64を上回った。
• 対応t検定の結果、線形方策でp = 0.0429、柔軟方策でp = 0.0007という有意な改善が得られた。
• 本手法は、特にデータが少ない状況下で後悔を一貫して低減し、ロバストネスと効率性の向上を示した。
• 本稿では、正しい仕様のもとで、サロゲート損失の後悔が真の政策後悔を上回ることを証明しており、理論的基盤の妥当性を裏付けた。
• 理論的分析により、方策学習における正しい仕様化が半パラメトリックモデルをもたらし、効率性を達成するにはGMMベースの推定が必要であることが示された。これは、標準分類におけるパラメトリックモデルとは異なる。