[論文レビュー] Direct Optimization of Ranking Measures

Quoc V. Le, Alexander J. Smola|arXiv (Cornell University)|Apr 25, 2007

Data Management and Algorithms参考文献 38被引用数 94

ひとこと要約

本稿では、ヒルバート空間における構造的推定を用いて、NDCG や MRR などの複雑で非凸な順序付け性能指標を直接最適化する新規手法 DORM（Direct Optimization of Ranking Measures）を提案する。トレーニングでは線形割り当て問題として定式化されハンガリアン法で解ける一方、テスト時には単純なソートで十分であり、これによりペairワイズ手法と比較して収束が速く、特にラベル付きデータが限られた状況でも優れた性能を達成する。

ABSTRACT

Web page ranking and collaborative filtering require the optimization of sophisticated performance measures. Current Support Vector approaches are unable to optimize them directly and focus on pairwise comparisons instead. We present a new approach which allows direct optimization of the relevant loss functions. This is achieved via structured estimation in Hilbert spaces. It is most related to Max-Margin-Markov networks optimization of multivariate performance measures. Key to our approach is that during training the ranking problem can be viewed as a linear assignment problem, which can be solved by the Hungarian Marriage algorithm. At test time, a sort operation is sufficient, as our algorithm assigns a relevance score to every (document, query) pair. Experiments show that the our algorithm is fast and that it works very well.

研究の動機と目的

• NDCG や MRR といった実世界の性能指標を直接最小化するのではなく、代理損失関数を最適化する既存の順序付け手法の限界を解消すること。
• カーネル法やマージン最大化学習と互換性を持つ形で、多次元的かつ非凸な順序付け基準を直接最適化可能な一般化フレームワークを構築すること。
• トレーニングとインフェンスの両方を効率化するために、順序付け問題をハンガリアン法で解ける線形割り当て問題に再定式化すること。
• ウェブ検索および協調フィルタリングのベンチマークにおいて、最先端手法と比較することで、直接最適化が、特にラベル付きデータが少ない状況で性能向上をもたらすことを実証すること。
• 性能指標をヒルバート空間内の内積として埋め込み、凸緩和を用いることで、構造的推定の適用範囲を複雑な順序付けタスクに拡張すること。

提案手法

• 本手法はヒルバート空間における構造的推定を用い、スコア関数 $ g(d, q) $ として順序付け関数をモデル化する。ここで $ d $ はドキュメント、$ q $ はクエリを表す。
• NDCG や MRR といった性能指標は、ヒルバート空間における内積として表現され、学習フレームワークへの統合が可能になる。
• Tsochantaridis ら（2005）のマージンに基づく定式化を用いて、非凸な順序付け損失の凸緩和を構築し、効率的な最適化を可能にする。
• トレーニング段階では、順序付け問題を線形割り当て問題として定式化し、最適なドキュメント順序をハンガリアン・マリッジ法で探索する。
• テスト段階では、すべての（ドキュメント、クエリ）ペアに重要度スコアを割り当て、単純なソート操作により最終的な順序付けを生成する。
• 本手法は汎用的かつ拡張可能であり、位置依存スコアリング、多様性に配慮した指標、ユーザー固有のデータを特徴表現に追加することで個別化順序付けに適応可能である。

実験結果

リサーチクエスチョン

• RQ1 NDCG や MRR といった複雑で非凸な順序付け性能指標を、ペアワイズ近似や代理損失に依存せずに直接最適化することは可能か？
• RQ2 多次元的順序付け基準を、ヒルバート空間におけるカーネルベース学習に適した凸最適化問題に再定式化する方法は何か？
• RQ3 ウェブ検索および協調フィルタリングの文脈において、直接最適化手法と既存のペアワイズ順序付け手法とを比較した場合、計算効率と一般化性能はどの程度か？
• RQ4 提案手法は、個別化順序付けや多様なリトリーブ出力を扱うために拡張可能か？
• RQ5 ラベル付きデータが限られた状況、特に低ショット設定において、直接最適化がより優れた性能をもたらすか？

主な発見

• DORM は、ウェブ検索および協調フィルタリングの両タスクで最先端の性能を達成しており、特にラベル付きアイテム数が少ない状況で顕著な優位性を示す。
• EachMovie データセットにおける実験では、NDCG@10、NDCG@20、NDCG@50 の観点で、標準的ガウス過程回帰（GPR）、GPOR、CPR、CGPOR、MMMF と比較して DORM が顕著に優れていた。
• 非対応 t 検定により、DORM の性能向上が複数の評価設定で統計的に有意であることが確認された。
• トレーニング段階でハンガリアン法、テスト段階で単純なソートを用いることで、計算が効率的であり、高速なインフェンスが可能である。
• 柔軟な損失関数設計のおかげで、位置依存や多様性に配慮した指標を含む多様な順序付け目的にも良好に一般化できる。
• 著者らは、JRank に対して最適なモデルクラスが DORM に対して必ずしも最適ではないことを観察しており、これによりさらなるカーネル最適化で性能向上が期待できる。