[論文レビュー] NPRF: A Neural Pseudo Relevance Feedback Framework for Ad-hoc Information Retrieval

Canjia Li, Yingfei Sun+6 more|arXiv (Cornell University)|Oct 30, 2018

Topic Modeling参考文献 23被引用数 7

ひとこと要約

本稿では、上位ランク付けされたドキュメントをフィードバッククエリとして使用することで、関連性スコアの向上を図る、ニューラル仮関連フィードバック（NPRF）という新規なニューラル仮関連フィードバックフレームワークを提案する。ターゲットドキュメントと複数のフィードバックドキュメント間の相互作用を学習されたニューラルマッチング関数でモデル化することにより、NPRFは2つのTRECアドホックリトリーバルベンチマークで顕著な性能向上を達成し、多様なクエリタイプとモデルアーキテクチャにおいて一貫した向上を示した。

ABSTRACT

Pseudo-relevance feedback (PRF) is commonly used to boost the performance of traditional information retrieval (IR) models by using top-ranked documents to identify and weight new query terms, thereby reducing the effect of query-document vocabulary mismatches. While neural retrieval models have recently demonstrated strong results for ad-hoc retrieval, combining them with PRF is not straightforward due to incompatibilities between existing PRF approaches and neural architectures. To bridge this gap, we propose an end-to-end neural PRF framework that can be used with existing neural IR models by embedding different neural models as building blocks. Extensive experiments on two standard test collections confirm the effectiveness of the proposed NPRF framework in improving the performance of two state-of-the-art neural IR models.

研究の動機と目的

• 現代のニューラルIRモデルには、フィードバック統合のためのネイティブなメカニズムが欠如しているという課題に対処すること。
• 従来のPRF手法とニューラルアーキテクチャの間の不適合性を克服すること。これは、しばしば文書レベルの文脈を考慮せずに拡張語を一様に扱うためである。
• 既存のニューラルIRモデルのアーキテクチャを変更することなく統合可能な汎用的でエンドツーエンドのフレームワークを開発すること。
• 短いクエリや自然言語クエリを含む、さまざまなニューラルIRモデルとクエリタイプにおいて、フレームワークの有効性を示すこと。
• ドキュメント同士の相互作用を通じて、上位ランク付けされたドキュメント内の関連性シグナルをニューラルモデルが活用できる、堅牢でモジュール型のフレームワークを確立すること。

提案手法

• 与えられたクエリに対して、初期ランク付けモデル（例：BM25）を用いて上位-m件のドキュメントを取得し、フィードバックセット $D_q$ を形成する。
• 上位ランク付けされた各ドキュメント $d_q \in D_q$ をプロキシクエリとして扱い、ニューラルマッチングモデル $\mathit{rel_d}(d_q, d)$ を用いてターゲットドキュメント $d$ に対する関連性を計算する。
• 各フィードバックドキュメントの寄与度を、その初期関連性スコア $\mathit{rel_q}(q, d_q)$ を信頼度推定値として重み付けする。
• すべてのフィードバックドキュメントからの重み付き関連性スコアを組み合わせ、ターゲットドキュメントの最終関連性スコア $\mathit{rel_D}(q, D_q, d)$ を得る。
• DRMM や K-NRM といった最先端のニューラルIRモデルを $\mathit{rel_d}$ 要素として統合し、元のアーキテクチャを保持する。
• 全プロセスを微分可能パイプラインとして扱うことで、エンドツーエンドの学習と推論を可能にし、勾配ベース最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャの変更なしに、多様なニューラルIRモデルと互換性を持つニューラル仮関連フィードバックフレームワークを設計できるか？
• RQ2 NPRFフレームワークは、標準的なアドホックリトリーブベンチマークにおいて、最先端のニューラルIRモデルの性能をどの程度向上させられるか？
• RQ3 NPRFは、短いクエリや自然言語クエリといった異なるクエリタイプにおいても性能向上を実現するか？
• RQ4 フィードバックドキュメント数などのハイパーパrameterの変化に対して、NPRFフレームワークはどの程度頑健か？
• RQ5 ドキュメント同士の相互作用を効果的に活用することで、語彙の不一致を低減し、関連性推定を向上させられるか？

主な発見

• NPRFは、2つの標準的なTRECアドホックリトリーブデータセットにおいて、2つの最先端のニューラルIRモデル（DRMM と K-NRM）の性能を顕著に向上させた。
• フレームワークは、短いクエリと自然言語クエリの両方において一貫した性能向上を達成し、広範な適用可能性を示した。
• NPRFを適用する前はDRMMがK-NRMに比べて性能が低かったが、NPRFを適用することで両モデルの性能が同等に近づき、フレームワークがモデルの性能を均一化できる能力を示した。
• フィードバックドキュメント数などのハイパーパrameterの変化に対してもフレームワークは頑健であり、さまざまな設定において安定した改善を示した。
• ニューラル相互作用モデリングを用いて上位ランク付けされたドキュメントをフィードバッククエリとして活用することで、語彙の不一致が効果的に低減され、関連性推定が向上した。
• 既存のニューラルモデルへのNPRFの統合はスムーズであり、アーキテクチャの変更を要しないことから、モularity と一般化可能性が確認された。