[論文レビュー] Learning Groupwise Scoring Functions Using Deep Neural Networks

Qingyao Ai, Xuanhui Wang+3 more|arXiv (Cornell University)|Jan 1, 2019

Information Retrieval and Search Behavior参考文献 38被引用数 13

ひとこと要約

本稿では、文書のグループを統合的に扱い、ポイントワイズスコアリングを越えた相対的関連性をモデル化するための一般化されたグループワイズスコアリング関数（GSF）を提案する。深層ニューラルネットワークを用いて、MSLR-WEB30K における実験で、従来の手法、特に最先端のツリー基盤モデルを上回る顕著なランク付け性能向上を達成する。

ABSTRACT

While in a classification or a regression setting a label or a value is assigned to each individual document, in a ranking setting we determine the relevance ordering of the entire input document list. This difference leads to the notion of relative relevance between documents in ranking. The majority of the existing learning-to-rank algorithms model such relativity at the loss level using pairwise or listwise loss functions. However, they are restricted to pointwise scoring functions, i.e., the relevance score of a document is computed based on the document itself, regardless of the other documents in the list. In this paper, we overcome this limitation by proposing generalized groupwise scoring functions (GSFs), in which the relevance score of a document is determined jointly by groups of documents in the list. We learn GSFs with a deep neural network architecture, and demonstrate that several representative learning-to-rank algorithms can be modeled as special cases in our framework. We conduct evaluation using the public MSLR-WEB30K dataset, and our experiments show that GSFs lead to significant performance improvements both in a standalone deep learning architecture, or when combined with a state-of-the-art tree-based learning-to-rank algorithm.

研究の動機と目的

• 従来のラーニング・トゥ・ランク手法が文書間の相互作用を無視するポイントワイズスコアリング関数に起因する制限を解消すること。
• 文書のグループを同時に考慮することで、文書間の相対的関連性をモデル化する一般化されたグループワイズスコアリング関数（GSF）を導入すること。
• さまざまなラーニング・トゥ・ランクアルゴリズムが提案されたGSFフレームワークの下で統一可能であることを示すこと。
• GSFの有効性を、スタンドアロンの深層学習モデルおよび最先端のツリー基盤ラーニング・トゥ・ランクアルゴリズムと組み合わせた状況で評価すること。

提案手法

• 文書の関連スコアが、単一の文書ではなく文書のグループに依存する一般化されたグループワイズスコアリング関数（GSF）を提案する。
• 入力特徴からGSFをエンド・トゥ・エンドで学習可能な深層ニューラルネットワークアーキテクチャを設計する。
• ペairワイズおよびリストワイズのランク付け目的を、GSFフレームワーク内での特殊ケースとしてモデル化し、従来のラーニング・トゥ・ランク手法との互換性を確保する。
• MSLR-WEB30K データセットを用いて学習と評価を行い、NDCG や MAP といった標準的なランク付け指標を適用する。
• 文書グループ間の相対的関連性を捉える損失関数を採用し、ランク付けの一般化性能を向上させる。
• GSFを最先端のツリー基盤ラーニング・トゥ・ランクアルゴリズムと組み合わせ、ハイブリッド環境での性能向上を評価する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルにおいて、従来のポイントワイズスコアリングと比較して、グループワイズスコアリング関数はランク付け性能を向上させ得るか？
• RQ2 効果性および一般化性能の観点から、GSFは既存のペアワイズおよびリストワイズラーニング・トゥ・ランク手法と比較してどのように差をつけるか？
• RQ3 既存のラーニング・トゥ・ランクアルゴリズムが、提案されたGSFフレームワーク内でどの程度特殊ケースとして表現可能か？
• RQ4 最先端のツリー基盤モデルとGSFを統合することで、測定可能な性能向上が得られるか？

主な発見

• スタンドアロンの深層学習アーキテクチャでGSFを用いることで、MSLR-WEB30K データセット上で顕著なランク付け性能向上が達成された。
• 提案されたGSFフレームワークは、従来のラーニング・トゥ・ランク手法を一般化し、ペアワイズおよびリストワイズアプローチを特殊ケースとして包含している。
• 最先端のツリー基盤ラーニング・トゥ・ランクアルゴリズムと組み合わせた場合、GSFは測定可能な性能向上をもたらした。
• ベースライン手法と比較して、NDCG および MAP スコアが向上し、グループワイズ関連性モデリングの有効性が実証された。