[論文レビュー] Individualized Rank Aggregation using Nuclear Norm Regularization

Yu Lu, Sahand Negahban|arXiv (Cornell University)|Oct 3, 2014

Sparse and Compressive Sensing Techniques参考文献 21被引用数 12

ひとこと要約

本稿では、ペアワイズ比較を用いた個別化されたランク集約のための核ノルム正則化最適化枠組みを提案し、共同ランク付けにおけるパーソナライズドな好みモデリングを可能にする。観察されるのは直接的な評価点ではなく相対的好みであるにもかかわらず、標準的な行列補完と同等の誤差率を示す理論的収束保証を確立する。

ABSTRACT

In recent years rank aggregation has received significant attention from the machine learning community. The goal of such a problem is to combine the (partially revealed) preferences over objects of a large population into a single, relatively consistent ordering of those objects. However, in many cases, we might not want a single ranking and instead opt for individual rankings. We study a version of the problem known as collaborative ranking. In this problem we assume that individual users provide us with pairwise preferences (for example purchasing one item over another). From those preferences we wish to obtain rankings on items that the users have not had an opportunity to explore. The results here have a very interesting connection to the standard matrix completion problem. We provide a theoretical justification for a nuclear norm regularized optimization procedure, and provide high-dimensional scaling results that show how the error in estimating user preferences behaves as the number of observations increase.

研究の動機と目的

• 単一のグローバルランクしか生成しない伝統的なランク集約手法の限界を解決する。これは個々のユーザーの好みを捉えられていない。
• 明示的な評価点ではなく、ペアワイズユーザー好みからパーソナライズドなアイテムランクを推定する共同ランク付けフレームワークを開発する。
• 個別化された好み学習の文脈において、核ノルム正則化最適化手順の理論的裏付けを提供する。
• 直接的な評価点が入手不可であるにもかかわらず、必要なペアワイズ比較の数が、標準的な行列補完と同程度にスケーリングされることを示す。

提案手法

• エントリがユーザー・アイテムの好みの差を表す低ランク行列推定問題として共同ランク付け問題を定式化する。
• 好み行列の低ランク構造を促進するために核ノルム正則化を用い、不完全なペアワイズデータから安定した回復を可能にする。
• 一般化誤差を制御するためにラデマッハ複雑度と行列集中不等式（Ahlswede-Winter）を適用する。
• ペアワイズ比較関数上の経験的プロセスをバウンドするために、Ledoux-Talagrandの縮小不等式を活用する。
• ユーザー・アイテムペアからの一様分布に従って抽出されるエントリを持つ、比較データのランダム行列モデルを定義する。
• 行列 Bernstein 型不等式と固有値ノルム制御を用いて、推定誤差の高確率バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 核ノルム正則化最適化手順は、ペアワイズ比較からの個別ユーザー好みの一貫した推定を達成できるか？
• RQ2 高次元設定下で、ユーザー好みの推定誤差は観測されたペアワイズ比較の数にどのように依存するか？
• RQ3 必要なペアワイズ比較の数は、明示的な評価点を用いた標準的な行列補完に必要な数と同等か？
• RQ4 行列補完の理論的保証を、より困難な相対的好みデータの設定に拡張できるか？
• RQ5 相対的好みしか観測できない状況で、核ノルムは低ランク回復を保証するために果たす役割は何か？

主な発見

• 提案された核ノルム正則化推定量は、$ O\left(\sqrt{\frac{\log(d_1 d_2)}{n \min(d_1, d_2)}}\right) $ の推定誤差を達成し、類似条件の下で標準的な行列補完のレートと一致する。
• 誤差バウンドはラデマッハ複雑度と行列集中を用いて導出され、観測数が増加するにつれて、この手法が統計的に一貫していることが示される。
• 分析により、正確な回復に必要なペアワイズ比較の数が、標準的な行列補完における明示的評価点の必要数と同程度であることが確認された。
• ユーザー好みのばらつきが生じる状況でも、この手法は強力な性能保証を維持し、個々の差が存在しない場合にはグローバルランクに還元される。
• ペアワイズ比較の均一サンプリングモデルの下で高確率バウンドが確立され、尾部バウンドはAhlswede-Winterの行列集中不等式を用いて導出された。
• 理論的枠組みは、1ビット行列補完などの他のモデルへも拡張可能であるが、現在の分析を超える追加の洞察は得られていない。