[論文レビュー] Learning-to-Rank with Partitioned Preference: Fast Estimation for the Plackett-Luce Model

Jiaqi Ma, Xinyang Yi+5 more|arXiv (Cornell University)|Jun 9, 2020

Multi-Criteria Decision Making被引用数 4

ひとこと要約

本稿では、分割された順序付き好み（partitioned preference）を用いた学習ランキングのための高速な数値積分法を提案する。Plackett-Luceモデルを用い、Gumbel分布に従うランダムユーティリティを持つモデルを導入することで、尤度計算の計算量を O(N + S!) から O(N + S³) に削減する。この手法により、大規模データ上でのスケーラブルで高精度なリストワイズ学習ランキングが可能となり、合成データおよび実世界の極端な多値分類タスクにおいて、既存のベースラインを上回る性能を示す。

ABSTRACT

We investigate the Plackett-Luce (PL) model based listwise learning-to-rank (LTR) on data with partitioned preference, where a set of items are sliced into ordered and disjoint partitions, but the ranking of items within a partition is unknown. Given $N$ items with $M$ partitions, calculating the likelihood of data with partitioned preference under the PL model has a time complexity of $O(N+S!)$, where $S$ is the maximum size of the top $M-1$ partitions. This computational challenge restrains most existing PL-based listwise LTR methods to a special case of partitioned preference, top-$K$ ranking, where the exact order of the top $K$ items is known. In this paper, we exploit a random utility model formulation of the PL model, and propose an efficient numerical integration approach for calculating the likelihood and its gradients with a time complexity $O(N+S^3)$. We demonstrate that the proposed method outperforms well-known LTR baselines and remains scalable through both simulation experiments and applications to real-world eXtreme Multi-Label classification tasks.

研究の動機と目的

• 分割された好みにおけるPlackett-Luce尤度を計算する際の計算の非効率性（アイテムの各グループ内順序が不明だが、グループ全体の順序は既知）を解消すること。
• クリックフィードバックや順序付き評価など、部分的な順序情報がある実世界のデータにおいて、Plackett-Luceモデルを用いたスケーラブルなリストワイズ学習ランキングを可能にすること。
• 分割された好みにおけるPlackett-Luceモデルの尤度および勾配を効率的に計算する手法を開発し、正確な計算の O(N + S!) の計算量を克服すること。
• 本手法の有効性とスケーラビリティを、合成データおよび実世界の極端な多値分類データセット上で実証すること。

提案手法

• Gumbel分布に従うランダムユーティリティを持つモデルを用いてPlackett-Luceモデルを再定式化し、対数尤度および勾配を1次元積分の和として解析的に再表現する。
• 1次元積分を数値積分で近似することで、尤度および勾配の計算に O(N + S³) の時間計算量を達成する。
• Gumbel分布の記憶なし性質を活用し、高次元積分を扱いやすい1次元成分に分解できることを活用する。
• 確率的最適化と互換性を持つように設計されており、大規模データ上でのニューラルネットワーク順序付けモデルのエンドツーエンド学習を可能にする。
• 数値誤差が有界であり、望ましい誤差許容値 ε に対して時間計算量が O(N + 1/ε × S³) にスケーリングされることを形式的に示している。
• 一般化されたランクブレイキングとの関連についても議論し、そのフレームワークにおける潜在的な改善を示唆している。

実験結果

リサーチクエスチョン

• RQ1 アイテムの各グループ内順序が不明な分割された好みにおいて、Plackett-Luce尤度およびその勾配を効率的に計算できるか？
• RQ2 正確な計算（O(N + S!)）に比べて、提案された数値積分法が著しくスケーラビリティに優れているか？
• RQ3 部分的フィードバックを持つ実世界の順序付けタスクにおいて、既存のリストワイズおよびペアワイズ学習ランキングベースラインを上回る性能を示せるか？
• RQ4 ラベル集合が大きく部分的に順序づけられている極端な多値分類データセットにおいて、本手法はどのように性能を発揮するか？

主な発見

• 提案手法の PL-Partition は、すべての XML 分類データセットでソフトマックスベースのリストワイズベースライン PL-LB より顕著に優れており、適切なユーティリティ関数最適化の重要性を示している。
• ラベル集合が大きいデータセット（D-1K, W-31K, D-200K）では、PL-Partition がペアワイズ手法の RankSVM や RankNet よりも優れた性能を示しており、ラベル集合サイズが増加する際の優位性が顕著である。
• Precision@k では SLEEC と同等の性能を達成し、Propensity-Scored Precision@k では顕著に優れていることから、末尾ラベルおよび胴体ラベルへの一般化性能が優れていることが示唆される。
• 合成実験においても高い精度を維持し、Hino et al. (2010) の下界近似よりも真のPlackett-Luceパラメータをよりよく回復している。
• O(N + S³) の時間計算量により、数百万規模のアイテム集合に対してもニューラルネットワーク順序付けモデルの効率的学習が可能であり、スケーラビリティが確認された。