[論文レビュー] Preference Completion from Partial Rankings

Suriya Gunasekar, Oluwasanmi Koyejo+1 more|arXiv (Cornell University)|Nov 14, 2016

Multi-Criteria Decision Making参考文献 32被引用数 4

ひとこと要約

この論文は、数値スコアではなく、下位の順位付けを直接モデル化する凸最適化に基づく協調的順位補完手法を提案している。低ランク行列推定と核ノルム正則化を用いる。MovielensおよびNeurosynthデータセットにおいて、標準的な行列補完法や順位付けベースのベンチマークを上回り、NDCG や Kendall Tau といった順位付け指標で顕著な性能向上を示す。計算効率は標準的手法の対数因子以内を維持する。

ABSTRACT

We propose a novel and efficient algorithm for the collaborative preference completion problem, which involves jointly estimating individualized rankings for a set of entities over a shared set of items, based on a limited number of observed affinity values. Our approach exploits the observation that while preferences are often recorded as numerical scores, the predictive quantity of interest is the underlying rankings. Thus, attempts to closely match the recorded scores may lead to overfitting and impair generalization performance. Instead, we propose an estimator that directly fits the underlying preference order, combined with nuclear norm constraints to encourage low--rank parameters. Besides (approximate) correctness of the ranking order, the proposed estimator makes no generative assumption on the numerical scores of the observations. One consequence is that the proposed estimator can fit any consistent partial ranking over a subset of the items represented as a directed acyclic graph (DAG), generalizing standard techniques that can only fit preference scores. Despite this generality, for supervision representing total or blockwise total orders, the computational complexity of our algorithm is within a $\log$ factor of the standard algorithms for nuclear norm regularization based estimates for matrix completion. We further show promising empirical results for a novel and challenging application of collaboratively ranking of the associations between brain--regions and cognitive neuroscience terms.

研究の動機と目的

• 観測スコアが単調変換や量子化の影響を受ける可能性があるため、標準的な行列補完法が協調的順位学習において抱える限界を解消すること。
• 観測されたスコアに依存せず、有向無閉路グラフ（DAG）として表現される部分順序に基づく順位補完を可能にすること。
• 観測されたノイズの多いまたは変換された数値スコアにフィットするのではなく、直接的に下位の順位順序をモデル化することで一般化性能を向上させること。
• 複雑な部分順序入力を扱う場合でも、標準的な低ランク行列補完法と同等の計算効率を維持すること。
• 推薦システムや神経画像解析メタアナリシスを含む実世界の応用における性能を評価すること。

提案手法

• 観測スコアの生成モデルを仮定せず、下位の順位順序を直接適合させるリターゲット行列補完（RMC）推定器を提案。
• 一般化を確保するため、推定された順位行列に低ランク構造を促進する核ノルム正則化を用いる。
• 部分順序を有向無閉路グラフ（DAG）としてモデル化し、エッジが厳密な対比較順位を表す。
• DAGに基づく順位を、観測された順序制約を尊重しつつランクを最小化する凸最適化問題に変換。
• 順位適合問題の凸緩和を採用し、理論的保証のもとで効率的な最適化を可能にする。
• 計算コストは、標準的な核ノルムに基づく行列補完アルゴリズムと比較して、対数因子以内の範囲に収まる。

実験結果

リサーチクエスチョン

• RQ1 観測スコアが任意の単調変換を受ける状況下でも、凸最適化フレームワークが協調的順位補完を効果的に行えるか？
• RQ2 提案手法は、全順序やブロック全順序を越えて、有向無閉路グラフ（DAG）として表現される部分順序を処理できるか？
• RQ3 順位順序を直接モデル化することで、観測された数値スコアにフィットするのではなく、協調的順位付けタスクにおける一般化性能が向上するか？
• RQ4 部分順序の監視が存在する状況下で、提案手法の計算複雑度は標準的な行列補完アルゴリズムと比べてどの程度か？
• RQ5 実世界の応用、例えば推薦システムや神経画像解析メタアナリシスにおいて、NDCG や Kendall Tau といった順位指標で優れた性能を達成できるか？

主な発見

• Movielens 100K データセットにおいて、提案手法の RMC は平均 NDCG@5 が 0.7984（±0.0213）を達成し、SMC（0.7863）および CoFi-Rank（0.7731）を顕著に上回った。
• Precision@5 では RMC が 0.7546（±0.0320）を達成し、SMC（0.7429）および CoFi-Rank（0.7314）を上回った。
• Spearman Rho では RMC が 0.4137（±0.0099）を記録し、SMC（0.3722）および CoFi-Rank（0.3681）を顕著に上回った。
• Kendall Tau では RMC が 0.3383（±0.0117）を達成し、SMC（0.3031）および CoFi-Rank（0.2993）を上回った。
• Neurosynth データセットにおいて、RMC は訓練データサイズが変化しても、すべての順位指標（NDCG、Precision、Spearman、Kendall Tau）で標準的な行列補完法を一貫して上回った。
• RMC の性能向上は、特にトップ-k順位指標（NDCG@5、Precision@5）で顕著であり、関連性の高いアイテムの順位付け品質の向上を示している。