[論文レビュー] A Differential Equations Approach to Optimizing Regret Trade-offs

Alexandr Andoni, Rina Panigrahy‎|arXiv (Cornell University)|May 7, 2013

Advanced Bandit Algorithms Research参考文献 1被引用数 4

ひとこと要約

本稿では、二値逐次予測および2人の専門家問題におけるレグレットのトレードオフを最適化する微分方程式のアプローチを提案し、最適な報酬関数がエルミート微分方程式を満たすことを示している。主な貢献は、時間割引設定における専門家のレグレット間の正確なトレードオフ曲線を解明することで、重み付き多数派アルゴリズムよりも最大10%低いレグレットを達成する、証明可能な最適なアルゴリズムの構築である。

ABSTRACT

We consider the classical question of predicting binary sequences and study the {\em optimal} algorithms for obtaining the best possible regret and payoff functions for this problem. The question turns out to be also equivalent to the problem of optimal trade-offs between the regrets of two experts in an "experts problem", studied before by \cite{kearns-regret}. While, say, a regret of $Θ(\sqrt{T})$ is known, we argue that it important to ask what is the provably optimal algorithm for this problem --- both because it leads to natural algorithms, as well as because regret is in fact often comparable in magnitude to the final payoffs and hence is a non-negligible term. In the basic setting, the result essentially follows from a classical result of Cover from '65. Here instead, we focus on another standard setting, of time-discounted payoffs, where the final "stopping time" is not specified. We exhibit an explicit characterization of the optimal regret for this setting. To obtain our main result, we show that the optimal payoff functions have to satisfy the Hermite differential equation, and hence are given by the solutions to this equation. It turns out that characterization of the payoff function is qualitatively different from the classical (non-discounted) setting, and, namely, there's essentially a unique optimal solution.

研究の動機と目的

• 時間割引付き二値逐次予測におけるレグレットを最小化する証明可能な最適アルゴリズムを特定すること。アス比的境界 Θ(√T) よりも進んだものである。
• 停止時刻が固定でない設定においても、2人の専門家に関するレグレット間の正確なトレードオフ曲線を特徴付けること。
• 時間割引報酬の下での最適報酬関数の閉形式特徴付けを導出し、それがエルミート微分方程式の解によって一意に定まることを示すこと。
• 重み付き多数派アルゴリズムなどの既存のアルゴリズムを改善し、特に逐次報酬が √T のオーダーである場合に、レグレット境界の主要定数を低減すること。

提案手法

• 著者らは、予測問題における離散的再帰関係から導かれる連続時間の微分不等式を用いて、最適報酬関数をモデル化する。
• 最適報酬関数は、エルミート微分方程式 g''(x) - 2xg'(x) + 2g(x) = 0 を満たす必要があることが示され、その解が最適なレグレットトレードオフを定義する。
• 予測問題における離散的再帰を分析することで、テイラー展開を用いた連続的近似を導出し、誤差を O(1/√n) 項で制御する。
• エルミート方程式の解が離散問題に対して近似的に最適であり、誤差が n の増加に伴い減少することを証明する。
• 有界なベットの場合、√n·g(√n x) が離散的不等式を満たすような関数 g(x) = F(x) - O(1/√n) を構築する。
• 無限大なベットの場合、g(x) = F(x)·e^{-O(x²/n + 1/n)} という解を導出し、指数的に小さい誤差で不等式を満たす。

実験結果

リサーチクエスチョン

• RQ1 停止時刻が固定でない時間割引付き予測設定において、2人の専門家間の正確な最適なレグレットトレードオフ曲線は何か？
• RQ2 この設定における最適報酬関数は解析的に特徴付け可能か？ もしそうなら、どのような微分方程式を満たすか？
• RQ3 重み付き多数派アルゴリズムなどの既存のアルゴリズムと比較して、最適アルゴリズムのレグレット低減の定量的性能はどの程度か？
• RQ4 逐次報酬が O(√T) のオーダーである場合に、定数因子を最適化することで Θ(√T) よりもタイトなレグレット境界を達成可能か？
• RQ5 時間割引設定は、古典的な非割引設定とは何が異なり、解の一意性や構造的性質において質的に異なるのか？

主な発見

• 時間割引付き設定における最適報酬関数は、エルミート微分方程式の解によって一意に定まり、一意な最適解が得られる。
• 提案されたアルゴリズムは、重み付き多数派アルゴリズムよりも約10%低いレグレットを達成し、レグレット境界の定数因子を顕著に改善する。
• 逐次報酬が Θ(√T) の周辺領域では、重み付き多数派アルゴリズムと比較して報酬を最大 0.3√T まで向上させる。
• 離散的再帰の解は、誤差項 O(1/√n) を伴うエルミート関数の解によって近似可能であり、n が増加するにつれて消失する。
• 離散問題の連続的緩和は、その解が小さな誤差で証明可能な最適性を持つ微分不等式を生じる。等式は線形関数の場合にのみ可能であり、それらは実用的ではない。
• 本稿では、非自明な解析的解が正確な離散的再帰を等式として満たすことは不可能であることを証明し、導出における不等式緩和の正当性を裏付ける。