[論文レビュー] SortNet: Learning To Rank By a Neural-Based Sorting Algorithm

Leonardo Rigutini, Tiziano Papini+2 more|arXiv (Cornell University)|Nov 3, 2023

Multi-Criteria Decision Making被引用数 12

ひとこと要約

SortNet はペアワイズ比較器としてニューラルネットワークを訓練し、オブジェクトをランク付けする処理に統合し、情報量のあるペアを選択する段階的でアクティブ学習に似た手順を用い、LETOR TD2003/TD2004 データセットで競争力のある結果を示し、特に TD2004 で顕著である。

ABSTRACT

The problem of relevance ranking consists of sorting a set of objects with respect to a given criterion. Since users may prefer different relevance criteria, the ranking algorithms should be adaptable to the user needs. Two main approaches exist in literature for the task of learning to rank: 1) a score function, learned by examples, which evaluates the properties of each object yielding an absolute relevance value that can be used to order the objects or 2) a pairwise approach, where a "preference function" is learned using pairs of objects to define which one has to be ranked first. In this paper, we present SortNet, an adaptive ranking algorithm which orders objects using a neural network as a comparator. The neural network training set provides examples of the desired ordering between pairs of items and it is constructed by an iterative procedure which, at each iteration, adds the most informative training examples. Moreover, the comparator adopts a connectionist architecture that is particularly suited for implementing a preference function. We also prove that such an architecture has the universal approximation property and can implement a wide class of functions. Finally, the proposed algorithm is evaluated on the LETOR dataset showing promising performances in comparison with other state of the art algorithms.

研究の動機と目的

• ユーザーの好みが絶対スコアよりもランキング順を駆動する学習-to-rank の動機を提示する。
• 対称性制約を満たすペアワイズ好みを学べるニューラルネットワークベースの比較器を開発。
• ランキング品質を改善するために有益なトレーニングペアを選択的に追加する増分訓練手法を提案。
• LETOR TD2003/TD2004 ベンチマークでアプローチを実証し、最先端手法と比較。

提案手法

• 二つの出力を持つニューラル比較器 N を導入し、N_succ および N_prec、入力は x と y の連結。
• 対称性を維持するため、N_succ(x,y) = N_prec(y,x) をデュアル重み共有アーキテクチャを介して実現。
• 重み共有比較器が制約付き関数クラス内の普遍近似特性を保持することを証明。
• 比較器を勾配降下法で訓練し、ペアワイズターゲット [1 0] を x succ y、[0 1] を x pref y として二乗誤差目的を最小化。
• 比較器をソーティングアルゴリズムに組み込み、期待時間計算量 O(n log n) のランキングを生成。
• 各反復で訓練/検証セットをソートし、誤分類ペアを収集し、ランキング品質を改善するために訓練データを補強する、反復的・増分的学習手法を採用（アクティブラーニング風）。
• 検証データ上で RankQuality 指標（MAP, P@k, NDCG）を用いて、反復間で最良モデルを選択。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークベースの比較器は、ランキングタスクの信頼できるペアワイズ好み関数を学習できるか？
• RQ2 重み共有による対称性の組込みは、制約されたランキング関数クラス内で普遍近似を可能にするか？
• RQ3 標準的 LETOR ベンチマークで、情報量のあるペアを選択的に追加する増分訓練戦略はランキング品質を改善するか？
• RQ4 SortNet は LETOR TD2003/TD2004 データセットで確立された学習-to-ランク法とどう比較されるか？

主な発見

• TD2003で 10 hidden units、TD2004で 20 hidden units を用いた SortNet は、AdaRank、RankBoost、RankSVM、FRank、ListNet と比較して competitive MAP および P@10 の結果を示す。
• TD2004 データセットでは、報告された指標（NDCG@1..10, MAP, P@10）全般で他の方法を明確に上回る。
• TD2003 データセットでは、AdaRank および RankBoost に匹敵する結果を達成する一方、検証セットとテストセット間のデータ分布の違いに起因する変動性がある。
• 増分訓練手法は最大反復前に収束する傾向があり、情報量のある訓練ペアの効率的選択を示す。