[論文レビュー] Combinatorial Bandits with Relative Feedback

Aadirupa Saha, Aditya Gopalan|ePrints@IISc (Indian Institute of Science)|Mar 1, 2019

Advanced Bandit Algorithms Research被引用数 8

ひとこと要約

本稿は、マルチノミアル・ロジット（MNL）選択モデルにおける相対的フィードバックを伴う組み合わせ的バンディット問題に対して、インスタンス最適なUCBベースのアルゴリズムを提案する。最大最小サブセット構築ルールと軽量なペアワイズ推定を導入することで、トップ-$m$順位フィードバックでは$O(n/m \ln T)$、全順位フィードバックでは$O\big((n-k)\ln T / (k\Delta_{(k)})\big)$の順序最適なリグレットを達成し、タイトな下界を確立するとともに、より豊富なフィードバックによる性能向上を示している。

ABSTRACT

We consider combinatorial online learning with subset choices when only relative feedback information from subsets is available, instead of bandit or semi-bandit feedback which is absolute. Specifically, we study two regret minimisation problems over subsets of a finite ground set $[n]$, with subset-wise relative preference information feedback according to the Multinomial logit choice model. In the first setting, the learner can play subsets of size bounded by a maximum size and receives top-$m$ rank-ordered feedback, while in the second setting the learner can play subsets of a fixed size $k$ with a full subset ranking observed as feedback. For both settings, we devise instance-dependent and order-optimal regret algorithms with regret $O(\frac{n}{m} \ln T)$ and $O(\frac{n}{k} \ln T)$, respectively. We derive fundamental limits on the regret performance of online learning with subset-wise preferences, proving the tightness of our regret guarantees. Our results also show the value of eliciting more general top-$m$ rank-ordered feedback over single winner feedback ($m=1$). Our theoretical results are corroborated with empirical evaluations.

研究の動機と目的

• 絶対的報酬ではなく相対的で順序的なフィードバックを用いた組み合わせ的オンライン学習に対処すること。
• サブセットの上位-$m$順位または全順位が観測される状況下で、サブセット選択のリグレットを最小化すること。
• MNLモデルの構造を活用して、リグレットにおける組み合わせ的爆発を回避する効率的なアルゴリズムの設計。
• 根本的な下界を確立し、提案されたアルゴリズムの順序最適性を証明すること。
• 合成MNL環境における理論的予想の実験的妥当性の検証。

提案手法

• 有望なサブセットを選択するための新規な最大最小サブセット構築ルールを備えたUCBベースのアルゴリズムを提案。
• トップ-$m$順位からフィードバックを抽出するRank-Breakingを用いて、$O(n^2)$のペアワイズ選好推定を維持。
• 探索と活用のバランスを取るために、ペアワイズ選好推定$p_{ij}$の信頼区間$c_{ij}(t)$を用いる。
• 全順位フィードバックを想定した固定サイズサブセット選択のための再帰的バージョン（Rec-MaxMin-UCB）を導入。
• 部分的な最適でないアイテムの置き換えを制御し、リグレットを束縛するための飽和フェーズ解析を採用。
• 集中不等式を用いてリグレットバウンドを導出し、MNLモデルの構造を活用することでインスタンス依存の最適性を達成。

実験結果

リサーチクエスチョン

• RQ1 相対的フィードバックのみを前提とした組み合わせ的バンディット問題に対して、効率的なリグレット最小化アルゴリズムを設計できるか？
• RQ2 トップ-$m$順位フィードバックの長さが、根本的なリグレット限界にどのように影響するか？
• RQ3 全サブセット順位が観測可能な場合に達成可能な最適なリグレットは何か？
• RQ4 MNLモデルの構造を活用することで、リグレットにおける組み合わせ的爆発を回避できるか？
• RQ5 提案されたアルゴリズムは順序最適であり、一致する下界を用いて証明可能か？

主な発見

• 提案されたアルゴリズムは、トップ-$m$順位フィードバック下でインスタンス依存のリグレット$O(n/m \ln T)$を達成し、これは順序最適である。
• リグレットバウンドは最大サブセットサイズ$k$に依存せず、$m$（フィードバックの長さ）の増加に伴い改善される。
• 固定サイズ$k$のサブセットに対して、$O\big((n-k)\ln T / (k\Delta_{(k)})\big)$のリグレットを達成し、導出された下界と一致する。
• 固定サイズケースの下界は$\Omega\big((n-k)\ln T / (k\Delta_{(k)})\big)$であり、上界のタイトさが証明される。
• $n=16$および$n=50$のMNLモデルにおける実験的評価により、より豊富なフィードバックによる理論的性能向上が確認された。
• 分析から、トップ-$m$フィードバックは単一の優勝者フィードバック（$m=1$）よりも厳密に優れており、リグレットの乗法的改善が得られることが示された。