[論文レビュー] Active Ranking with Subset-wise Preferences

Aadirupa Saha, Aditya Gopalan|ePrints@IISc (Indian Institute of Science)|Oct 23, 2018

Auction Theory and Applications被引用数 5

ひとこと要約

本稿は、Plackett-Luceモデル下でサブセット単位の好みフィードバックを用いた $n$ 項目のアクティブランク付けアルゴリズムを提案する。独自のピボットベース手法を導入し、$O(n^2)$ のペairワイズ推定に代えて $n$ 項目のスコア推定を維持することで、サブセットごとに上位-$m$ 個のランクが観測される場合、サンプル複雑度が $m$ 倍低減され、その改善はオーダー的に最適であることを示すタイトな理論的境界を提示する。

ABSTRACT

We consider the problem of probably approximately correct (PAC) ranking $n$ items by adaptively eliciting subset-wise preference feedback. At each round, the learner chooses a subset of $k$ items and observes stochastic feedback indicating preference information of the winner (most preferred) item of the chosen subset drawn according to a Plackett-Luce (PL) subset choice model unknown a priori. The objective is to identify an $ε$-optimal ranking of the $n$ items with probability at least $1 - δ$. When the feedback in each subset round is a single Plackett-Luce-sampled item, we show $(ε, δ)$-PAC algorithms with a sample complexity of $O\left(\frac{n}{ε^2} \ln \frac{n}δ ight)$ rounds, which we establish as being order-optimal by exhibiting a matching sample complexity lower bound of $Ω\left(\frac{n}{ε^2} \ln \frac{n}δ ight)$---this shows that there is essentially no improvement possible from the pairwise comparisons setting ($k = 2$). When, however, it is possible to elicit top-$m$ ($\leq k$) ranking feedback according to the PL model from each adaptively chosen subset of size $k$, we show that an $(ε, δ)$-PAC ranking sample complexity of $O\left(\frac{n}{m ε^2} \ln \frac{n}δ ight)$ is achievable with explicit algorithms, which represents an $m$-wise reduction in sample complexity compared to the pairwise case. This again turns out to be order-wise unimprovable across the class of symmetric ranking algorithms. Our algorithms rely on a novel {pivot trick} to maintain only $n$ itemwise score estimates, unlike $O(n^2)$ pairwise score estimates that has been used in prior work. We report results of numerical experiments that corroborate our findings.

研究の動機と目的

• 高確率で $ε$-最適なランク付けを特定するために必要なサブセット比較ラウンド数を最小化する効率的なアクティブランク付けアルゴリズムの開発。
• 各サブセットで単一の勝者または上位-$m$ 項目のみが観測されるサブセット単位の好みフィードバックからアイテムのランク付けを学習する課題に対処すること。
• Plackett-Luceモデル下で、勝者のみのフィードバックと上位-$m$ フィードバックの両設定における理論的サンプル複雑度境界の確立。
• 上位-$m$ フィードバックが勝者のみのフィードバックと比較してサンプル複雑度を $m$ 倍低減できることを示し、この改善が情報理論的に最適であることを示すこと。

提案手法

• Plackett-Luceモデルの無関係な選択肢の独立性（IIA）特性を活用し、$O(n^2)$ のペアワイズ推定負荷を回避するため、$n$ 項目のアイテムスコア推定のみを維持する。
• 新規のピボットテクニックを導入：アイテム集合を共通のピボットを含むサブセットに動的に分割し、ピボットに対する局所的ランク付けを学習し、一貫性を持って統合する。
• チェルノフ＝フーディングの不等式を用いて、サブセットラウンドにおける実測勝利回数に基づくアイテムスコア推定のタイトな信頼区間を導出する。
• ランクブレイキング更新を用いて上位-$m$ フィードバックをスコア推定に適したペアワイズ比較に変換し、統計的効率を保つ。
• 情報理論的下界を導出するため、巧みに構築された紛らわしいインスタンスを用いた測度変更の議論を適用する。
• 得られたサンプル複雑度境界を達成する明示的なアルゴリズム（例：Beat-the-Pivot）を設計し、勝者フィードバックおよび上位-$m$ フィードバックの両設定で有効であることを示す。

実験結果

リサーチクエスチョン

• RQ1 勝者フィードバックのみが利用可能な場合、サブセット単位の好みフィードバックによるアクティブランク付けは、ペアワイズ比較よりも優れたサンプル複雑度を達成可能か？
• RQ2 Plackett-Luceモデル下で、勝者フィードバックによるアクティブランク付けの根本的なサンプル複雑度の限界は何か？
• RQ3 各サブセットで上位-$m$ 項目のみが観測される（勝者のみではない）場合、サンプル複雑度の明示的低減が可能か？
• RQ4 上位-$m$ フィードバックによるサンプル複雑度の $m$ 倍低減は、すべての対称的ランク付けアルゴリズムにおいてオーダー的に最適か？
• RQ5 ピボットベース手法は、Plackett-Luceモデル下で $O(n)$ のスコア推定を維持しながら、一貫性のあるグローバルランク推定を保証可能か？

主な発見

• 勝者のみのフィードバックの場合、サンプル複雑度は $O\left(\frac{n}{\epsilon^{2}}\ln\frac{n}{\delta}\right)$ であり、下界 $\Omega\left(\frac{n}{\epsilon^{2}}\ln\frac{n}{\delta}\right)$ と一致するため、ペアワイズ比較より改善できないことが証明される。
• 上位-$m$ フィードバックの場合は、サンプル複雑度が $O\left(\frac{n}{m\epsilon^{2}}\ln\frac{n}{\delta}\right)$ に低減され、勝者のみのケースと比較して $m$ 倍の改善が達成される。
• この改善されたサンプル複雑度はオーダー的にタイトであり、$\Omega\left\{\frac{n}{m\epsilon^{2}}\ln\frac{n}{\delta}\right\}$ の一致する下界が確立された。
• 提案されたピボットベースアルゴリズムは、先行研究で一般的な $O(n^2)$ のペアワイズ推定オーバーヘッドを回避するため、$n$ 項目のアイテムスコア推定のみを維持する。
• 数値実験により、提案されたアルゴリズムが合成環境で理論的サンプル複雑度境界を達成することが確認された。
• 解析により、$m$ 倍の低減は本質的であり、より洗練されたフィードバックやアルゴリズムでさえも、これ以上の改善は不可能であることが示された。