[論文レビュー] Structure Adaptive Algorithms for Stochastic Bandits

Rémy Degenne, Han Shao+1 more|arXiv (Cornell University)|Jul 2, 2020

Advanced Bandit Algorithms Research被引用数 11

ひとこと要約

本稿では、反復的鞍点ソルバを用いて、完全な鞍点オракルを避けることで、計算コストを低減しつつ、漸近的最適性と有限時間レギュレートバウンドを達成する構造適合型の確率的マルチアームバンディットアルゴリズムを提案する。この手法は、スパarsity、単峰性、線形性などの構造的制約を効果的に活用しながら、1ラウンドあたりの計算コストを低く保ち、インスタンス依存の下界に一致する性能を達成する。

ABSTRACT

We study reward maximisation in a wide class of structured stochastic multi-armed bandit problems, where the mean rewards of arms satisfy some given structural constraints, e.g. linear, unimodal, sparse, etc. Our aim is to develop methods that are flexible (in that they easily adapt to different structures), powerful (in that they perform well empirically and/or provably match instance-dependent lower bounds) and efficient in that the per-round computational burden is small. We develop asymptotically optimal algorithms from instance-dependent lower-bounds using iterative saddle-point solvers. Our approach generalises recent iterative methods for pure exploration to reward maximisation, where a major challenge arises from the estimation of the sub-optimality gaps and their reciprocals. Still we manage to achieve all the above desiderata. Notably, our technique avoids the computational cost of the full-blown saddle point oracle employed by previous work, while at the same time enabling finite-time regret bounds. Our experiments reveal that our method successfully leverages the structural assumptions, while its regret is at worst comparable to that of vanilla UCB.

研究の動機と目的

• 多様な構造的制約（例：スパarsity、単峰性、線形性）に適応するバンディットアルゴリズムの開発を目的とし、性能を損なわずに行う。
• インスタンス依存のレギュレート下界に一致させることで、漸近的最適性を達成すること。
• 従来の完全な鞍点オラクルに依存する構造適合型手法と比較して、計算オーバーヘッドを低減すること。
• 問題インスタンスの複雑さを反映した明示的な有限時間レギュレートバウンドの提供。

提案手法

• インスタンス依存のレギュレート下界から導かれる双対問題の解を近似するために、反復的鞍点ソルバを用いる。
• 探索と活用のバランスに不可欠な、非最適性ギャップおよびその逆数の推定に、新規なアプローチを導入する。
• 構造的制約下での局所解を効率的に計算するための、交替最小化オラクル（alt-min oracle）の使用が、主なイノベーションである。
• 推定ギャップと構造的制約に基づいて、アーム選択を動的に調整することで、適応的探索を実現する。
• 異なる構造（例：単峰性、スパース、線形）に対して、それぞれ特化した最適化技術を用いてalt-minオラクルを実装する：単峰性にはPAVA、リプシッツおよび単体制約には凸二次計画ソルバ、線形制約には閉形式の射影を用いる。
• 各ステップで完全なミニマックス問題を解くのを避けることで、計算コストを著しく削減しつつも、最適なレギュレート性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 構造適合型バンディットアルゴリズムは、漸近的最適性と有限時間レギュレートバウンドの両方を達成できるか？
• RQ2 構造適合型アルゴリズムの計算コストを、レギュレート性能を損なわず低減できるか？
• RQ3 反復的鞍点ソルバは、構造的バンディットにおける非最適性ギャップの推定に有効に利用できるか？
• RQ4 スパarsity、単峰性などの構造的仮定を、実際のレギュレート低減にどの程度活用できるか？
• RQ5 提案手法のアルゴリズムは、異なる構造において、標準的なUCBと比較して、レギュレートと適応性の点で優れているか？

主な発見

• 提案手法は漸近的最適性を達成し、Tが増加するにつれてレギュレートがインスタンス依存の下界V^M(µ)に収束する。
• 有限時間レギュレートバウンドが確立され、問題の複雑さに依存する時間経過の後、レギュレートがV^M(µ) ln Tのオーダーに達することが示された。
• スパース、単峰性、リプシッツ、線形、単体の全構造において、構造的仮定を効果的に活用し、バニラUCBと比較してレギュレートを低減した。
• 完全な鞍点オラクルに依存する従来の構造適合型アルゴリズムと比較して、計算コストが顕著に低減された。
• 実験では、初期段階ではUCBと同等のレギュレートを示したが、構造的情報が効果的に活用されると急速に性能が向上した。
• 特に複雑な構造においても、1ラウンドあたりの計算コストが従来手法と比べて著しく低く、この性能を達成した。