[論文レビュー] NeuralNDCG: Direct Optimisation of a Ranking Metric via Differentiable Relaxation of Sorting

Przemyslaw Pobrotyn, Radosław Białobrzeski|arXiv (Cornell University)|Feb 15, 2021

Information Retrieval and Search Behavior参考文献 31被引用数 15

ひとこと要約

この論文では、非微分可能なソート操作をNeuralSortに置き換えることで、NDCG順序付け指標の微分可能近似であるNeuralNDCGを提案する。これにより、トレーニング中にNDCGの勾配ベース最適化が可能になる。本手法はWeb30KおよびIstellaデータセットで最先端の性能を達成し、ApproxNDCGなどの先行する直接NDCG最適化手法を上回り、LambdaRankなどの強力なベースラインと同等またはそれを上回る性能を示した。

ABSTRACT

Learning to Rank (LTR) algorithms are usually evaluated using Information Retrieval metrics like Normalised Discounted Cumulative Gain (NDCG) or Mean Average Precision. As these metrics rely on sorting predicted items' scores (and thus, on items' ranks), their derivatives are either undefined or zero everywhere. This makes them unsuitable for gradient-based optimisation, which is the usual method of learning appropriate scoring functions. Commonly used LTR loss functions are only loosely related to the evaluation metrics, causing a mismatch between the optimisation objective and the evaluation criterion. In this paper, we address this mismatch by proposing NeuralNDCG, a novel differentiable approximation to NDCG. Since NDCG relies on the non-differentiable sorting operator, we obtain NeuralNDCG by relaxing that operator using NeuralSort, a differentiable approximation of sorting. As a result, we obtain a new ranking loss function which is an arbitrarily accurate approximation to the evaluation metric, thus closing the gap between the training and the evaluation of LTR models. We introduce two variants of the proposed loss function. Finally, the empirical evaluation shows that our proposed method outperforms previous work aimed at direct optimisation of NDCG and is competitive with the state-of-the-art methods.

研究の動機と目的

• ラーニング・トゥ・ランク（LTR）におけるトレーニング目的と評価指標の不一致を解消する。標準的な損失関数は情報検索（IR）指標（例：NDCG）と弱く関連している。
• NDCGという重要なIR評価指標を、そのソートに依存する非微分可能な性質にもかかわらず、微分可能にすることにより、直接的最適化を可能にする。
• 勾配降下法によるエンドツーエンド学習をサポートする、滑らかで正確かつ効率的なNDCGの近似を構築する。
• 既存のLTR損失関数（ペairワイズ、リストワイズ、および直接NDCG最適化ベースラインを含む）と比較して、実験的に本手法の有効性を検証する。

提案手法

• NDCGにおける非微分可能なソート演算子を、柔ららかで微分可能な置換行列に基づく、微分可能なソートの緩和であるNeuralSortに置き換える。
• 予測スコアに対して微分可能なソート操作を適用することで、順序付けプロセス全体にバックプロパゲーションが可能になる。
• NeuralNDCGの2つのバリアントを導入：通常出力とtanh活性化出力を備えたもので、学習の安定化を図る。
• 計算中に上位k個のアイテムをマスクすることで、NDCG@5やNDCG@10などのランク固有のカットオフをサポートする。
• 微分可能な緩和により、代理損失に依存するのではなく、NDCGを直接最適化するスコア関数をモデルが学習できる。
• PyTorchで実装され、再現性を高めるためにallRankオープンソースフレームワークに統合されている。

実験結果

リサーチクエスチョン

• RQ1 NDCGの微分可能近似を構築でき、順序付け指標の勾配ベース最適化を可能にするか？
• RQ2 NeuralNDCGの性能は、ペairワイズおよびリストワイズのベースラインを含む既存のLTR損失関数と比較してどうか？
• RQ3 NeuralSortによるソートの微分可能な緩和は、ApproxNDCGなどの先行手法よりも正確で効果的なNDCGの近似を実現するか？
• RQ4 NeuralNDCGはWeb30KやIstellaなどの標準的なLTRベンチマークで、競争力あるか、あるいは優れた性能を示せるか？

主な発見

• NDCGカットオフ（NDCG@5、NDCG@10）を備えたNeuralNDCGは、Web30KおよびIstellaの両データセットで、すべての指標においてApproxNDCGを上回った。
• Web30Kでは、NeuralNDCG@10が52.77のNDCG@10を達成し、評価されたすべての手法の中で最高を記録。LambdaRankをも上回った。
• Istellaでは、最良のNeuralNDCGバリアント（NeuralNDCG^T@10）が71.02のNDCG@10を達成し、LambdaRankやListNetをすべて上回った。
• 温度ハイパーパramータ τ を最適化するためのチューニングが不要であり、τ=1 で最良の性能が得られた。
• NeuralNDCGはLambdaRankなどの最先端手法と同等の性能を示し、トレーニングと評価の目的のギャップを埋める有効性を検証した。
• allRankにおけるオープンソース実装により、完全な再現性が達成され、今後の微分可能な順序付け指標分野の研究を促進する。