[論文レビュー] Neural Ranking Models with Weak Supervision

Mostafa Dehghani, Hamed Zamani+3 more|arXiv (Cornell University)|Apr 28, 2017

Topic Modeling参考文献 29被引用数 4

ひとこと要約

本論文では、BM25 などの非教師付き情報検索（IR）モデルからの弱教師信号を用いてニューラルランクモデルを訓練する手法を提案する。これにより、人為的ラベルなしで大規模な訓練データを生成できる。数十億件の弱教師付きラベルを用いたことで、Robust04 と ClueWeb においてそれぞれ BM25 よりも 13% および 35% の MAP 向上を達成した。これは、弱教師付きデータでの事前学習が、特にラベルデータが限られる状況において性能を顕著に向上させることを示している。

ABSTRACT

Despite the impressive improvements achieved by unsupervised deep neural networks in computer vision and NLP tasks, such improvements have not yet been observed in ranking for information retrieval. The reason may be the complexity of the ranking problem, as it is not obvious how to learn from queries and documents when no supervised signal is available. Hence, in this paper, we propose to train a neural ranking model using weak supervision, where labels are obtained automatically without human annotators or any external resources (e.g., click data). To this aim, we use the output of an unsupervised ranking model, such as BM25, as a weak supervision signal. We further train a set of simple yet effective ranking models based on feed-forward neural networks. We study their effectiveness under various learning scenarios (point-wise and pair-wise models) and using different input representations (i.e., from encoding query-document pairs into dense/sparse vectors to using word embedding representation). We train our networks using tens of millions of training instances and evaluate it on two standard collections: a homogeneous news collection(Robust) and a heterogeneous large-scale web collection (ClueWeb). Our experiments indicate that employing proper objective functions and letting the networks to learn the input representation based on weakly supervised data leads to impressive performance, with over 13% and 35% MAP improvements over the BM25 model on the Robust and the ClueWeb collections. Our findings also suggest that supervised neural ranking models can greatly benefit from pre-training on large amounts of weakly labeled data that can be easily obtained from unsupervised IR models.

研究の動機と目的

• 非教師付き IR モデル（例：BM25）が、効果的なニューラルランクモデルを訓練するための弱教師信号として機能するかどうかを調査すること。
• 弱教師信号の下で、異なる入力表現と学習目的（ポイントワイズ vs. ペアワイズ）の影響を評価すること。
• ラベルデータが限られる状況において、弱教師付きデータでの事前学習が、教師ありランクモデルの性能に与える影響を特定すること。
• 弱教師付きニューラルランクで高い性能を発揮するための主要な設計要因を同定すること。

提案手法

• 数百万件のクエリ-ドキュメントペアに対して、BM25 を用いて自動的に二値の関連性ラベル（関連：1、非関連：0）を生成する。
• 数十億件の弱教師付きインスタンス上でフィードフォワードニューラルネットワークを訓練し、入力表現は生の埋め込みから、密実装・疎行列のベクトルまで多様に変更する。
• ポイントワイズとペアワイズの両方の学習目的を採用し、弱教師ラベルへの過剰適合を抑えるために、スコアのキャリブレーションよりもランク最適化に重点を置く。
• 固定された特徴工学に依存するのではなく、クエリおよびドキュメント表現をエンドツーエンドで学習する。
• ラベルデータが少ない状況でも一般化性能を向上させるために、教師ありデータで微調整する前の段階で、弱教師付きデータ上で深層ニューラルネットワークを事前学習する。
• 標準的なアドホック検索ベンチマーク（Robust04 および ClueWeb09-B）でモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: BM25 などの非教師付き IR モデルからのラベルが、効果的なニューラルランカーを訓練するための弱教師信号として利用可能か？
• RQ2 RQ2: 本設定において、最も適した入力表現と学習目的は何か？
• RQ3 RQ3: ラベルデータが限られる状況において、教師あり学習モデルが弱教師信号ステップから恩恵を受けることは可能か？

主な発見

• 最も優れた性能を示したニューラルランクモデルは、Robust04 コレクションで BM25 よりも 13% 以上の MAP 向上を達成し、ClueWeb コレクションでは 35% 以上の向上を示した。
• 人為的ラベルデータがまったくない状況でも、弱教師ラベルを生成した BM25 モデルを上回る性能を示した。これは、弱教師信号を超えた一般化が達成されたことを示している。
• ラベルデータが限られる状況において、弱教師付きデータでの事前学習が、教師ありモデルの性能を顕著に向上させた。
• 最も効果的なモデルは、固定された特徴セットに依存するのではなく、エンドツーエンドで入力表現を学習しており、これにより一般化性能が向上した。
• スコアのキャリブレーションではなくランク最適化に焦点を当てた目的関数を定義することで、弱教師付きデータの不完全性への過剰適合を回避できた。
• 弱教師信号によって可能になった大規模な訓練データが、本設定におけるディープニューラルネットワークの成功に不可欠であった。