[論文レビュー] Fully adaptive algorithm for pure exploration in linear bandits

Liyuan Xu, Junya Honda+1 more|arXiv (Cornell University)|Oct 16, 2017

Advanced Bandit Algorithms Research参考文献 9被引用数 18

ひとこと要約

本論文は、線形バンディットにおける純探索のための、初めての完全に適応的アルゴリズムであるLinGapEを提案する。このアルゴリズムは、過去の観測に基づいてアームを動的に選択することで、サンプル複雑度を最小化する。極端な状況において、理論的下界に定数倍の誤差で一致するサンプル複雑度を達成し、合成的および実世界の実験の両方で、従来の静的または部分的に適応的な手法を著しく上回る性能を発揮する。

ABSTRACT

We propose the first fully-adaptive algorithm for pure exploration in linear bandits---the task to find the arm with the largest expected reward, which depends on an unknown parameter linearly. While existing methods partially or entirely fix sequences of arm selections before observing rewards, our method adaptively changes the arm selection strategy based on past observations at each round. We show our sample complexity matches the achievable lower bound up to a constant factor in an extreme case. Furthermore, we evaluate the performance of the methods by simulations based on both synthetic setting and real-world data, in which our method shows vast improvement over existing methods.

研究の動機と目的

• 既存の線形バンディットアルゴリズムが事前にアーム選択の順序を固定しているため、サンプル効率が最適でないという制限に対処すること。
• すべての過去の観測に基づいてアーム選択を動的に調整する完全に適応的アルゴリズムを構築し、サンプル複雑度を向上させること。
• 提案されたアルゴリズムのサンプル複雑度が、極端な状況において情報理論的下界に定数倍の誤差で一致することを理論的に証明すること。
• 合成的および実世界の設定の両方で、従来の手法（静的および部分的に適応的戦略を含む）に対するアルゴリズムの優位性を実験的に検証すること。

提案手法

• すべての過去の観測に基づいて各ラウンドでアームを選択する完全に適応的アルゴリズムであるLinGapEを提案し、事前に固定されたアーム選択シーケンスを回避する。
• 適応的戦略に内在する$d^{1/2}$のゆるさを回避する新しい信頼区間の構築法を用い、よりタイトなサンプル複雑度の境界を可能にする。
• 最適なアームに近いアームに集中してサンプリングするギャップベースの探索戦略を採用し、不要なプルを削減する。
• 情報行列の行列式に基づく分析を導入し、信頼区間の長さを制限することで、理論的サンプル複雑度の境界を改善する。
• 固定予算設定向けのUGapEの技術を適応し、このような状況への拡張の可能性を示唆する。
• 実世界の実験では、$\lambda = 0.01$を用いた正則化最小二乗推定をパラメータ推定に用いる。

実験結果

リサーチクエスチョン

• RQ1 線形バンディットにおける純探索のための完全に適応的アルゴリズムは、情報理論的下界に近いサンプル複雑度を達成できるか？
• RQ2 過去の観測に基づく適応的アーム選択は、静的または部分的に適応的戦略と比較して、サンプル効率がどのように異なるか？
• RQ3 近い最適なアームを区別するためのパラメータ推定精度を向上させるために、非最適なアームをプルすることはどのような影響を及ぼすか？
• RQ4 提案されたアルゴリズムは、合成的および実世界の線形バンディット設定の両方で、既存の手法を上回る性能を発揮できるか？
• RQ5 次第に増加する次元数およびアーム数に対して、アルゴリズムの性能はどのようにスケーリングするか？

主な発見

• 極端な状況（すべてのアームがほぼ最適である場合）において、LinGapEは理論的下界（$\mathcal{XY}$-オラクル経由）に定数倍の誤差で一致するサンプル複雑度を達成する。
• 合成的設定（$K = d = 5$ かつ $\Delta \to 0$）において、LinGapEは$\mathcal{XY}$-静的割り当てよりもはるかに少ないサンプル数を要し、$\Delta$が小さくなるほど性能差が拡大する。
• Yahoo! Webscope R6Aデータセットにおいて、LinGapEは$\mathcal{XY}$-静的割り当てに比べて必要なサンプル数を約5倍削減した。
• アルゴリズムは、過去のサンプルを破棄する必要がないため、$\mathcal{XY}$-適応的割り当てよりも優れた実験的性能を発揮する。
• アーム数が増加する際、性能向上が最も顕著に現れる。これは、LinGapEがすべてのアームを均等に推定する代わりに、最も関連性の高いアームに集中してサンプリングするからである。
• 理論的サンプル複雑度の境界は、解析における行列式の評価がゆるいため、よりタイトな境界を用いることで改善の余地があることが示唆された。