[論文レビュー] PAC Ranking from Pairwise and Listwise Queries: Lower Bounds and Upper Bounds

Wenbo Ren, Jia Liu+1 more|arXiv (Cornell University)|Jun 8, 2018

Data Management and Algorithms参考文献 19被引用数 10

ひとこと要約

本稿では、MNLモデル下での$l$-wiseクエリを用いたトップ-$k$およびトータルランク付けのための適応的PACランク付けアルゴリズムを提案し、対数要因を除いてサンプル複雑性最適性能を達成する。タイトな下界を確立し、特に$l > 2$のリストワイズ設定において、最先端の手法に比して理論的および実験的性能が優れていることを示す。提案手法は、特に$l$が大きい場合、従来の手法と比較してクエリ複雑性を顕著に低減する。

ABSTRACT

This paper explores the adaptive (active) PAC (probably approximately correct) top-$k$ ranking (i.e., top-$k$ item selection) and total ranking problems from $l$-wise ($l\geq 2$) comparisons under the multinomial logit (MNL) model. By adaptively choosing sets to query and observing the noisy output of the most favored item of each query, we want to design ranking algorithms that recover the top-$k$ or total ranking using as few queries as possible. For the PAC top-$k$ ranking problem, we derive a lower bound on the sample complexity (aka number of queries), and propose an algorithm that is sample-complexity-optimal up to an $O(\log(k+l)/\log{k})$ factor. When $l=2$ (i.e., pairwise comparisons) or $l=O(poly(k))$, this algorithm matches the lower bound. For the PAC total ranking problem, we derive a tight lower bound, and propose an algorithm that matches the lower bound. When $l=2$, the MNL model reduces to the popular Plackett-Luce (PL) model. In this setting, our results still outperform the state-of-the-art both theoretically and numerically. We also compare our algorithms with the state-of-the-art using synthetic data as well as real-world data to verify the efficiency of our algorithms.

研究の動機と目的

• MNLモデル下で$l$-wiseクエリを用いたアクティブランク付けにおけるクエリ複雑性の最小化という課題に取り組む。
• PACトップ-$k$およびトータルランク付け問題の両者におけるサンプル複雑性の理論的下界を導出する。
• 対数要因を除いてサンプル複雑性最適性を達成する適応的アルゴリズムを設計する。
• 提案手法の性能を合成データおよび実世界データ上で評価し、特にペairwise手法が性能を発揮しないリストワイズ設定での性能を強調する。
• 従来のペアワイズランク付け手法がリストワイズ状況に一般化しにくく、原理的かつ代替可能な代替手法を提供する。

提案手法

• 情報理論的解析を用いて、MNLモデル下でのPACトップ-$k$ランク付けにおけるサンプル複雑性の下界を導出する。
• TNKS（Top-$k$ Noisy Knowledge Search）を提案し、好みスコアの信頼区間に基づいて適応的に$l$-アイテムクエリ集合を選択する。
• トーナメント方式の削除戦略を用いた適応的クエリ選択を実装するPDTR（Pairwise-Driven Total Ranking）を設計する。
• ユーザーの好みをモデル化するために多項ロジスティック（MNL）モデルを用い、集合からアイテムが選ばれる確率がその指数的好みスコアに比例するように設定する。
• すべてのアイテムの最大好みスコアが1になるように正規化を行い、モデルのスケール不変性を保証する。
• 実世界データの経験的マージナルを用いてクエリ結果をシミュレートし、アルゴリズムの性能を実証する。

実験結果

リサーチクエスチョン

• RQ1 MNLモデル下でPACトップ-$k$ランク付けを達成するために必要な$l$-wiseクエリの数の情報理論的下界は何か？
• RQ2 適応的アルゴリズムはPACトップ-$k$ランク付けにおいてサンプル複雑性最適性を達成可能か？また、$l$および$k$に応じて性能はどのようにスケーリングするか？
• RQ3 PACトータルランク付けにおけるMNLモデル下でのタイトな下界は何か？また、その下界に一致するアルゴリズムは存在するか？
• RQ4 $l > 2$のリストワイズ設定において、提案手法は最先端のペアワイズランク付け手法と比較してどのように異なるか？
• RQ5 理論的上界が増加するにもかかわらず、$l$が大きくなるに従い、適応的リストワイズランク付けアルゴリズムの性能は向上するか？

主な発見

• 提案されたTNKSアルゴリズムは、$O(\log(k+l)/\log k)$要因を除いてPACトップ-$k$ランク付けにおけるサンプル複雑性最適性を達成し、$l=2$または$l=O(\text{poly}(k))$のとき下界と一致する。
• トータルランク付けにおいて、PDTRアルゴリズムは導出されたタイトなサンプル複雑性下界と一致し、オーダー最適性を確立する。
• 合成データでは、$l=5$のとき、TNKSは既存手法を著しく上回り、$l$が大きい場合のスケーラビリティの優位性が顕著に現れる。
• PrefLibからの実世界データでは、$l=4$のとき、TNKSはトップ-$k$ランク付けにおいて一貫してベースラインを上回り、性能差が顕著に現れる。
• $l=4$のとき、PDTRはボーダーランキングを著しく上回り、$l=2$のときも競争力を持つ。これにより、リストワイズ設計の利点が裏付けられる。
• 結果から、リストワイズ問題をペアワイズ問題に変換する（例：FEMABを用いて）手法はスケーリングに不適切であり、効率性を確保するためには専用のリストワイズアルゴリズムが不可欠であることが示された。