[論文レビュー] Online Learning with Gaussian Payoffs and Side Observations

Yifan Wu, András György+1 more|arXiv (Cornell University)|Oct 27, 2015

Advanced Bandit Algorithms Research参考文献 8被引用数 9

ひとこと要約

本稿は、ガウス型報酬と付加的観測を備えた新しいオンライン学習フレームワークを導入し、フィードバックの質が行動ペアに応じて分散によって決まる。非漸近的で問題依存のレグレット下界を初めて確立し、定数要因の範囲内でこれらの下界を達成するアルゴリズムを提案する。これにより、部分観測とグラフ構造のフィードバック設定における先行研究が統合・改善される。

ABSTRACT

We consider a sequential learning problem with Gaussian payoffs and side information: after selecting an action $i$, the learner receives information about the payoff of every action $j$ in the form of Gaussian observations whose mean is the same as the mean payoff, but the variance depends on the pair $(i,j)$ (and may be infinite). The setup allows a more refined information transfer from one action to another than previous partial monitoring setups, including the recently introduced graph-structured feedback case. For the first time in the literature, we provide non-asymptotic problem-dependent lower bounds on the regret of any algorithm, which recover existing asymptotic problem-dependent lower bounds and finite-time minimax lower bounds available in the literature. We also provide algorithms that achieve the problem-dependent lower bound (up to some universal constant factor) or the minimax lower bounds (up to logarithmic factors).

研究の動機と目的

• 行動ペアに応じた分散パラメータによってフィードバックの質が変化するガウス型報酬と付加的観測を備えた新しいオンライン学習モデルを形式化すること。
• 完全情報設定を超える確率的部分観測における、非漸近的で問題依存のレグレット下界を初めて導出すること。
• これらの下界（普遍的定数の範囲内）を達成するアルゴリズムを設計し、最小最大レグレットレート（対数因子の範囲内）を一致させること。
• 自己観測不能性を許容し、フィードバックの質を可変とするように、先行のグラフ構造のフィードバックモデルを一般化すること。
• 確率的部分観測における既存の漸近的問題依存の境界と有限時間性能保証の間のギャップを埋めること。

提案手法

• モデルは、行動 $i$ を選択すると、すべての行動 $j$ に対して平均が $\theta_j$、分散が $\sigma^2_{ij}$ であるガウス型の付加的観測が得られると仮定する。これにより、フィードバックの質の差が可能になる。
• 報酬の差と観測分散に依存する非漸近的で問題依存のレグレット下界を導出し、既存の漸近的および最小最大の境界を特別な場合として回復する。
• 集中不等式と分散依存の情報境界を用いて、観測品質、時間枠、推定精度の間の相互作用を分析する、重要な技術的要素を含む。
• 最初のアルゴリズムは、問題に依存しない乗法的定数の範囲内で、漸近的問題依存レグレット下界に一致する。
• 2番目のアルゴリズムは、強い観測可能性と弱い観測可能性の両方の条件下で、最小最大レグレットを対数因子の範囲内で達成し、$O(\log^{3/2}T)$ の問題依存レグレットを達成する。
• 解析では、イベント集合 $V_r$ と $V_r^c$ に基づくレグレットのフェーズ分解を用い、各行動の最小観測回数の境界を制御することで、レグレットの増加を制御する。

実験結果

リサーチクエスチョン

• RQ1 行動ペアに応じてフィードバックの質が変化するガウス型報酬と付加的観測を伴うオンライン学習において、レグレットの根本的限界は何か？
• RQ2 完全情報設定を超える確率的部分観測において、非漸近的で問題依存のレグレット下界を導出できるか？
• RQ3 問題依存設定において、これらの下界を定数要因の範囲で達成するアルゴリズムは存在するか？
• RQ4 この一般化されたフィードバックモデルにおける、異なる観測可能性レジーム（強い vs. 弱い）における最小最大レグレットのスケーリングはどのように変化するか？
• RQ5 提案されたフレームワークは、グラフ構造のフィードバックと部分観測の既存の結果を統合・改善できるか？

主な発見

• 本稿は、ガウス型報酬と付加的観測を伴う確率的部分観測における、非漸近的で問題依存のレグレット下界を初めて確立した。
• これらの下界は、普遍的定数の範囲内で、既存の漸近的問題依存および有限時間最小最大境界を特別な場合として回復する。
• 提案されたアルゴリズムは、普遍的定数の範囲内で問題依存レグレット下界を達成し、極限において漸近的下界に一致する。
• 2番目のアルゴリズムは、強い観測可能性と弱い観測可能性の両方の条件下で、最小最大レグレットを対数因子の範囲内で達成する。
• 2番目のアルゴリズムの問題依存レグレットは $O(\log^{3/2}T)$ であり、漸近的下界や最小最大レートに一致しなかった先行研究を改善する。
• 解析により、最終的なレグレット境界において時間枠 $T$ を定数に置き換えられることを示しており、臨界的決定ラウンドの数が $T$ とは独立に有界であることが示唆される。