[論文レビュー] Importance weighting without importance weights: An efficient algorithm for combinatorial semi-bandits

Gergely Neu, Bartók Gábor|arXiv (Cornell University)|Mar 17, 2015

Advanced Bandit Algorithms Research参考文献 28被引用数 10

ひとこと要約

本稿では、組み合わせ的セミバンディット問題における従来の重要度重み付けの代わりに、計算的に効率的なサンプリングベースの手法である幾何的リサンプリング（GR）を導入する。GRをフォローザ・ペチューブド・リーダー（FPL）アルゴリズムと組み合わせることで、半バンドイットフィードバック下でのオフラインからオンラインへの組み合わせ最適化への最初の計算効率の良い還元が達成され、高い確率でのリグレットバウンドが、従来の非効率的手法と同等のものとなる。

ABSTRACT

We propose a sample-efficient alternative for importance weighting for situations where one only has sample access to the probability distribution that generates the observations. Our new method, called Geometric Resampling (GR), is described and analyzed in the context of online combinatorial optimization under semi-bandit feedback, where a learner sequentially selects its actions from a combinatorial decision set so as to minimize its cumulative loss. In particular, we show that the well-known Follow-the-Perturbed-Leader (FPL) prediction method coupled with Geometric Resampling yields the first computationally efficient reduction from offline to online optimization in this setting. We provide a thorough theoretical analysis for the resulting algorithm, showing that its performance is on par with previous, inefficient solutions. Our main contribution is showing that, despite the relatively large variance induced by the GR procedure, our performance guarantees hold with high probability rather than only in expectation. As a side result, we also improve the best known regret bounds for FPL in online combinatorial optimization with full feedback, closing the perceived performance gap between FPL and exponential weights in this setting.

研究の動機と目的

• 生成分布へのサンプルアクセスしか得られない状況下で、オンライン組み合わせ最適化における重要度重み付けの計算的非実行可能性に対処すること。
• 閉形式の式が得られない、例えばブラックボックス生成モデルのような状況において、重要度重みの推定に実用的でサンプル効率の良い方法を開発すること。
• FPLを用いて、半バンドイットフィードバック下でのオフラインからオンラインへの組み合わせ最適化への最初の計算効率の良い還元を可能にすること。
• FPLが組み合わせ的セミバンディットで高い確率でのリグレット保証を達成できることを提供し、指数重み法との性能ギャップを埋めること。

提案手法

• 基礎となる分布からのi.i.d.サンプルのみを用いて重要度重みを推定する、新しいリサンプリング方式である幾何的リサンプリング（GR）を提案する。
• GRをフォローザ・ペチューブド・リーダー（FPL）アルゴリズムに適用し、明示的な重要度重みの代わりにリサンプリングによる推定値を用いる。
• FPLにおける指数的摂動を用いて探索を誘発し、GRが暗黙のサンプリング分布下での期待損失の一貫した推定を提供する。
• 指数的確率変数の順序統計に基づく理論的分析を用い、d個のi.i.d.指数分布に従う確率変数のうち、最も大きなm個の合計の期待値を評価する。
• マーティングールの集中不等式を用いて、マーティングール差分に対する精密化されたベルンシュタイン型不等式を適用し、高い確率でのリグレットバウンドを導出する。
• 摂動された損失下でのある行動の選択確率が損失ベクトルに関して単調であることを示す重要な補題を用い、異なる損失構成の間での比較を可能にする。

実験結果

リサーチクエスチョン

• RQ1 明示的な重要度重みに依存せずに、組み合わせ的セミバンディットで高い確率でのリグレットバウンドを達成できるか？
• RQ2 生成分布へのサンプルアクセスしか得られない状況で、重要度重み付けの計算効率の良い代替案を設計できるか？
• RQ3 新しいリサンプリング機構を用いて、FPLアルゴリズムを組み合わせ的セミバンディット設定で効率的かつ効果的にできるか？
• RQ4 提案手法によって、完全なフィードバック下でのオンライン組み合わせ最適化におけるFPLと指数重み法との性能ギャップが埋まるか？
• RQ5 リサンプリングによって生じる分散を制御することで、依然として強い高い確率でのリグレット保証が得られるか？

主な発見

• 提案された幾何的リサンプリング（GR）手法により、半バンドイットフィードバック下でのオフラインからオンラインへの組み合わせ最適化への最初の計算効率の良い還元が実現された。
• FPL+GRアルゴリズムは、リサンプリングによって生じる高い分散にもかかわらず、従来の非効率的手法と同等の高い確率でのリグレットバウンドを達成した。
• 本手法は、完全なフィードバック下でのオンライン組み合わせ最適化におけるFPLに対して、最初の高い確率でのリグレット保証を提供し、指数重み法との見かけの性能ギャップを埋めた。
• 理論的分析により、d個のi.i.d.指数確率変数のうちm番目に大きな順序統計量の期待値が、$ m( ext{log}(d/m) + 1) $ で抑えられると示された。
• FPL+GRのリグレットバウンドは、$ O( ext{poly}(m) ext{polylog}(d) ext{polylog}(T)) $ のスケーリングを示し、この設定における既知の最適レートと一致する。
• 本手法は、Lemma 8に依存するため、損失ベクトルの非負性に依存しており、非負の損失ベクトルの場合にのみ有効であることが示された。