[論文レビュー] The Statistical Complexity of Interactive Decision Making

Dylan J. Foster, Sham M. Kakade+2 more|arXiv (Cornell University)|Dec 27, 2021

Advanced Bandit Algorithms Research被引用数 9

ひとこと要約

本稿では、サンプル効率的なインタラクティブ意思決定の統計的限界を特徴付ける基本的複雑性尺度として、意思決定推定係数（DEC）を導入する。また、任意の教師あり推定アルゴリズムをオンライン意思決定ポリシーに変換する、推定から意思決定への（E2D）メタアルゴリズムを提案し、DECによって定義される下界に一致するレグレットバウンドを達成することで、バンディット、強化学習、構造的意思決定問題における学習の統一と最適化を実現する。

ABSTRACT

A fundamental challenge in interactive learning and decision making, ranging from bandit problems to reinforcement learning, is to provide sample-efficient, adaptive learning algorithms that achieve near-optimal regret. This question is analogous to the classical problem of optimal (supervised) statistical learning, where there are well-known complexity measures (e.g., VC dimension and Rademacher complexity) that govern the statistical complexity of learning. However, characterizing the statistical complexity of interactive learning is substantially more challenging due to the adaptive nature of the problem. The main result of this work provides a complexity measure, the Decision-Estimation Coefficient, that is proven to be both necessary and sufficient for sample-efficient interactive learning. In particular, we provide: 1. a lower bound on the optimal regret for any interactive decision making problem, establishing the Decision-Estimation Coefficient as a fundamental limit. 2. a unified algorithm design principle, Estimation-to-Decisions (E2D), which transforms any algorithm for supervised estimation into an online algorithm for decision making. E2D attains a regret bound that matches our lower bound up to dependence on a notion of estimation performance, thereby achieving optimal sample-efficient learning as characterized by the Decision-Estimation Coefficient. Taken together, these results constitute a theory of learnability for interactive decision making. When applied to reinforcement learning settings, the Decision-Estimation Coefficient recovers essentially all existing hardness results and lower bounds. More broadly, the approach can be viewed as a decision-theoretic analogue of the classical Le Cam theory of statistical estimation; it also unifies a number of existing approaches -- both Bayesian and frequentist.

研究の動機と目的

• 適応的で逐次的なフィードバックの下でのインタラクティブ意思決定のための学習可能性の統一理論を確立すること。
• サンプル効率的な学習に必要なだけでなく十分な複雑性尺度を同定すること。
• 教師あり学習におけるレ・カム理論に類似した、統計的推定理論とインタラクティブ意思決定の間のギャップを埋めること。
• 1つの複雑性フレームワークを通じて、オンライン意思決定におけるベイジアンと頻度主義のアプローチを統一すること。

提案手法

• インタラクティブ意思決定問題の本質的難易度を定量化する新たな複雑性尺度として、意思決定推定係数（DEC）を提案する。
• 任意のオンライン推定オракルを意思決定ポリシーにマッピングする、推定から意思決定への（E2D）メタアルゴリズムを導入する。
• E2Dのためのレグレット上界を導出し、DECによって特徴づけられる下界と一致させることで、推定誤差の範囲で最適性を証明する。
• 双対的視点と情報理論的ツールを用いて、E2Dを後方確率推定と楽観的推定と結びつける。
• バンディットと強化学習にこのフレームワークを適用し、既知の難易度結果を回復するとともに、構造的関数クラスへと拡張する。
• 文脈的およびモデルフリーな設定へとアプローチを一般化し、より広範な適用可能性を実現する。

実験結果

リサーチクエスチョン

• RQ1 インタラクティブ意思決定の根本的統計的複雑性とは何か。そして、それを形式的に特徴づける方法は何か。
• RQ2 1つのアルゴリズム的原則が、多様なインタラクティブ意思決定問題において最適な学習を統一的に実現できるか。
• RQ3 DECは、VC次元、ベルマンランク、またはエルーダー次元といった既存の複雑性尺度とどのように関係するか。
• RQ4 E2Dフレームワークが強化学習およびバンディット問題において最適なレグレットをどの程度達成できるか。
• RQ5 DECは、一般のインタラクティブ学習設定において最適レグレットの下界として機能できるか。

主な発見

• 意思決定推定係数（DEC）が、サンプル効率的なインタラクティブ学習の必要十分条件であることが証明された。
• E2Dメタアルゴリズムは、推定誤差の範囲でDECによって定義される下界に一致するレグレットバウンドを達成し、最適性が確立された。
• 表形式強化学習では、DECは既知の下界と難易度結果を回復し、ベルマンランクやエルーダー次元に基づく結果も含む。
• このフレームワークはベイジアンと頻度主義のアプローチを統一し、後方確率推定と楽観的推定とつながる。
• DECは既存の複雑性尺度を一般化し、統計的推定理論におけるレ・カム理論の意思決定的アナログを提供する。
• 後続の研究では、DECの一般性が確認され、PAC意思決定、アドバーシャルな結果、マルチエージェントシステムへと拡張されている。