[論文レビュー] Blackwell Approachability and Low-Regret Learning are Equivalent

Jacob Abernethy, Peter L. Bartlett+1 more|arXiv (Cornell University)|Nov 8, 2010

Advanced Bandit Algorithms Research参考文献 9被引用数 12

ひとこと要約

本稿では、オンライン線形最適化におけるブラックウェル到達可能性とレギュレートなし学習の間で、タイトなアルゴリズム的同等性を確立し、任意のレギュレートなしアルゴリズムを錐双対性を用いて効率的に到達可能性戦略に、逆に到達可能性戦略を効率的にレギュレートなし学習に変換できることを示している。主な貢献は、誤差許容度の逆数における対数的実行時間の効率的アルゴリズムとしての、最初のキャリブレーション予測法である。

ABSTRACT

We consider the celebrated Blackwell Approachability Theorem for two-player games with vector payoffs. We show that Blackwell's result is equivalent, via efficient reductions, to the existence of "no-regret" algorithms for Online Linear Optimization. Indeed, we show that any algorithm for one such problem can be efficiently converted into an algorithm for the other. We provide a useful application of this reduction: the first efficient algorithm for calibrated forecasting.

研究の動機と目的

• オンライン線形最適化におけるブラックウェル到達可能性とレギュレートなし学習の間の形式的でアルゴリズム的な同等性を確立すること。
• 到達可能性に還元することで、長年の未解決問題であった、効率的キャリブレーションの達成を、到達可能性およびオンライン線形最適化に還元すること。
• キャリブレーション予測における有限時間的で最適なレギュレートバウンドを提供すること。これにより、1/εの多項式的実行時間を持つ従来のアルゴリズムを改善する。
• 錐双対性が、到達可能性とレギュレート最小化問題の間で双方向かつ効率的な還元を可能にすることを示すこと。

提案手法

• 錐 K における到達可能性問題を、その双対錐 K⁰ 上のレギュレートなし学習問題に変換するため、錐双対性を用いる。逆に、双対錐上での到達可能性問題を、元の錐上でのレギュレートなし学習問題に還元する。
• 中心的なレギュレートなしアルゴリズムとして、L2射影を用いたオンライン勾配降下法を採用し、損失ベクトルのスパarsityを活用して1ラウンドあたりO(1)の計算量を達成する。
• 双対錐制約下で損失ベクトルとの内積が有界となる混合戦略 w を計算するための、二分探索に基づくオракルを設計する。
• キャリブレーション予測から到達可能性への還元を適用し、離散化された予測空間とベクトル報酬構造を用いる。
• 双対ベクトル θt のみを保存することで、効率的な状態管理を実現し、O(min{T, m})のメモリを要する（ここで m = 1/ε）。
• オンライン勾配降下法のレギュレートバウンド（O(GD/√T)）を用い、dist(cT, B₁(ε/2)) ≤ RegretT / T により、キャリブレーション誤差を直接バウンドする。

実験結果

リサーチクエスチョン

• RQ1 オンライン線形最適化の文脈において、ブラックウェル到達可能性とレギュレートなし学習は同等であるか？
• RQ2 到達可能性フレームワークを用いて、キャリブレーション予測のための効率的アルゴリズムを構築できるか？
• RQ3 レギュレートなし学習による還元を通じて、達成可能な有限時間的キャリブレーションレートの最適値は何か？
• RQ4 錐双対性を用いて、到達可能性とレギュレート最小化の間で、効率的かつ双方向の還元を構築できるか？

主な発見

• 本稿では、錐双対性を用いた効率的かつ双方向の還元により、ブラックウェル到達可能性とレギュレートなし学習がアルゴリズム的に同等であることを証明している。
• 提案されたアルゴリズムは、O(log(1/ε))の時間で ε-キャリブレーションを達成し、1/εの多項式的実行時間を持つ従来のアルゴリズムに比べて顕著な改善を示している。
• キャリブレーション誤差は、直径 D = √(1/ε) および勾配ノルム G = √2 を用いたオンライン勾配降下法のレギュレートバウンドから、O(1/√(εT)) にバウンドされる。
• 本手法により、予測者が確率 p を予測した場合、その事象の実際の頻度が、高確率で p から ε の範囲内に収束することが保証される。
• スパarsityと射影最適化のおかげで、1ラウンドあたりO(1)の計算量と、O(min{T, 1/ε})のメモリで効率的に動作する。
• キャリブレーションから到達可能性への還元は構成的であり、明示的な実行時間保証を持つ最初の有限時間的・最適レートのキャリブレーションアルゴリズムを導出する。