[論文レビュー] PAC Battling Bandits in the Plackett-Luce Model

Aadirupa Saha, Aditya Gopalan|arXiv (Cornell University)|Aug 12, 2018

Advanced Bandit Algorithms Research被引用数 9

ひとこと要約

本稿は、プレケット＝ルース（Plackett-Luce）モデルにおけるPACバトルリングバンドイットフレームワークを導入し、学習者が$k$本のアームのサブセットを選択し、勝者または上位$m$位の順位付けフィードバックを観測する設定を提示する。勝者フィードバックの場合、サンプル複雑性は$k$とは無関係に$O(n/ε^2 \ln(1/\delta))$のままであるが、上位$m$順位フィードバックでは$\Omega(n/(m\epsilon^2)\ln(1/\delta))$に低下し、統計的効率に$m$倍の向上が達成される。

ABSTRACT

We introduce the probably approximately correct (PAC) \emph{Battling-Bandit} problem with the Plackett-Luce (PL) subset choice model--an online learning framework where at each trial the learner chooses a subset of $k$ arms from a fixed set of $n$ arms, and subsequently observes a stochastic feedback indicating preference information of the items in the chosen subset, e.g., the most preferred item or ranking of the top $m$ most preferred items etc. The objective is to identify a near-best item in the underlying PL model with high confidence. This generalizes the well-studied PAC \emph{Dueling-Bandit} problem over $n$ arms, which aims to recover the \emph{best-arm} from pairwise preference information, and is known to require $O(\frac{n}{ε^2} \ln \frac{1}δ)$ sample complexity \citep{Busa_pl,Busa_top}. We study the sample complexity of this problem under various feedback models: (1) Winner of the subset (WI), and (2) Ranking of top-$m$ items (TR) for $2\le m \le k$. We show, surprisingly, that with winner information (WI) feedback over subsets of size $2 \leq k \leq n$, the best achievable sample complexity is still $O\left( \frac{n}{ε^2} \ln \frac{1}δ ight)$, independent of $k$, and the same as that in the Dueling Bandit setting ($k=2$). For the more general top-$m$ ranking (TR) feedback model, we show a significantly smaller lower bound on sample complexity of $Ω\bigg( \frac{n}{mε^2} \ln \frac{1}δ\bigg)$, which suggests a multiplicative reduction by a factor ${m}$ owing to the additional information revealed from preferences among $m$ items instead of just $1$. We also propose two algorithms for the PAC problem with the TR feedback model with optimal (upto logarithmic factors) sample complexity guarantees, establishing the increase in statistical efficiency from exploiting rank-ordered feedback.

研究の動機と目的

• プレケット＝ルース選択モデルを用いたバトルリングバンドイット設定において、高確率で$\epsilon$近似最良アームを特定することを目的としたPAC学習の目的を明確化すること。
• サブセットサイズ$k$とフィードバック構造（勝者対上位$m$順位）が、サブセットベースの好みフィードバックにおけるサンプル複雑性に与える影響を分析すること。
• 上位$m$順位フィードバックモデルにおける情報理論的下界を確立し、最適なアルゴリズムを設計すること。
• 順位付けフィードバックが勝者のみのフィードバックに比べて、統計的効率が著しく向上することを示すこと。

提案手法

• プレケット＝ルース好みのPACバトルリングバンドイット問題を提案し、学習者がサイズ$k$のサブセットを選択し、確率的好みフィードバックを観測する。
• 勝者フィードバックにおける情報理論的下界$\Omega(n/\epsilon^2 \ln(1/\delta))$を導出。$k$が大きくなっても改善がないことを示す。
• 上位$m$順位（TR）フィードバックモデルを導入。学習者はサブセット内での上位$m$個のアイテムの順序付き好みを観測する。
• 下界と対数的要因の差異を除いて一致するサンプル複雑性を達成する、TRフィードバックモデル用の2つのアルゴリズムを設計。
• 中央値の排除と信頼区間推定技術を用い、推定されたプレケット＝ルースパラメータに基づいて反復的に非最適アームを除外する。
• 濃度不等式とイベント分解を用いて失敗確率を制御し、最終出力が$1-\delta$の信頼度を持つことを保証する。

実験結果

リサーチクエスチョン

• RQ1 勝者フィードバックにおけるPACバトルリングバンドイット問題において、$k > 2$の大きなサブセットをプレイすることでサンプル複雑性が向上するか？
• RQ2 上位$m$順位フィードバック（$2 \leq m \leq k$）は、勝者のみのフィードバックに比べてサンプル複雑性をどの程度低減するか？
• RQ3 上位$m$個のアイテムの順位付けフィードバックにより、サンプル複雑性に乗法的改善が得られるか？
• RQ4 プレケット＝ルースモデルとサブセットフィードバック下で、$\epsilon$最良アームを特定するための最適サンプル複雑性は何か？
• RQ5 TRフィードバックモデルの情報理論的下界に達するアルゴリズムを設計できるか？

主な発見

• 勝者フィードバック（WI）では、サンプル複雑性が$\Omega(n/\epsilon^2 \ln(1/\delta))$であり、デュエルリングバンドイット設定と一致し、サブセットサイズ$k$とは無関係である。
• 上位$m$順位フィードバック（TR）では、サンプル複雑性の下界が$\Omega(n/(m\epsilon^2) \ln(1/\delta))$であり、$m$倍の乗法的改善が得られる。
• 提案されたアルゴリズムは、下界と対数的要因の差異を除いて一致するサンプル複雑性を達成し、TRフィードバックモデルにおけるオーダー最適性を確立した。
• 中央値の排除に基づくアルゴリズムは、$k$が変化することを許容しても、$O(n/\epsilon^2 \ln(1/\delta))$のサンプル複雑性を達成でき、従来のPACデュエルリングバンドイットの境界を改善した。
• 分析により、フィードバックの豊かさ（1から$m$個の順位付きアイテム）が向上することで、学習効率が著しく向上し、必要なサンプル数が明確に$m$倍に減少することが示された。
• 反復的排除ステップにおけるユニオンバウンドと信頼区間制御を慎重に行うことで、失敗確率は$\delta$で制限された。