[論文レビュー] Deep Reinforced Query Reformulation for Information Retrieval

Xiao Wang, Craig Macdonald+1 more|arXiv (Cornell University)|Jul 15, 2020

Web Data Mining and Analysis参考文献 43被引用数 12

ひとこと要約

本稿では、情報検索における語彙不一致問題に対処するため、質問の言い換えを生成する強化学習ベースのseq2seqモデルであるDeep Reinforced Query Reformulation (DRQR)を提案する。リtrieval効果性予測を報酬関数に統合することで、DRQRは検索効果性を向上させる言い換えを生成し、ベースラインモデルを上回り、TREC 2020 Deep Learning trackデータセットにおいてBM25、クエリ拡張、BERTランク付けモデルと組み合わせた場合にも性能向上を示した。

ABSTRACT

Query reformulations have long been a key mechanism to alleviate the vocabulary-mismatch problem in information retrieval, for example by expanding the queries with related query terms or by generating paraphrases of the queries. In this work, we propose a deep reinforced query reformulation (DRQR) model to automatically generate new reformulations of the query. To encourage the model to generate queries which can achieve high performance when performing the retrieval task, we incorporate query performance prediction into our reward function. In addition, to evaluate the quality of the reformulated query in the context of information retrieval, we first train our DRQR model, then apply the retrieval ranking model on the obtained reformulated query. Experiments are conducted on the TREC 2020 Deep Learning track MSMARCO document ranking dataset. Our results show that our proposed model outperforms several query reformulation model baselines when performing retrieval task. In addition, improvements are also observed when combining with various retrieval models, such as query expansion and BERT.

研究の動機と目的

• 情報検索における語彙不一致問題に、自動的に効果的なクエリ言い換えを生成することで対処すること。
• 報酬関数にクエリ効果性予測を組み込むことで、テキスト生成の訓練目的と実際の検索効果性の整合性を高めること。
• DRQRがBM25、クエリ拡張、BERTなどの既存のIRモデルと組み合わせて検索性能を向上させるかどうかを評価すること。
• 報酬トレードオフハイパーパrameterの影響と、クエリ効果性予測子が学習プロセスをどのように導くかを調査すること。

提案手法

• DRQRは、アテンションとコピーメカニズムを備えたシーケンス・ツー・シーケンスモデルを用いて、入力クエリからクエリ言い換えを生成する。
• モデルは、方策ネットワークが言い換えを生成し、報酬関数が学習をガイドする深層強化学習を採用する。
• 報酬関数は、クエリ効果性予測子（QPP）によるリトリーブ効果性予測と、標準的なシーケンス生成損失を組み合わせており、トレードオフハイパーパrameter λ を用いる。
• AvgSCQ などのクエリ効果性予測子は、リトリーブが実行される前に対応する言い換えクエリの期待される検索効果性を推定するために使用される。
• モデルは、ハイパーパrameter（θ と λ）のチューニングに検証セットを用いて、TREC 2020 Deep Learning track MSMARCOデータセット上でエンドツーエンドに訓練される。
• アプローチの評価は、オリジナルクエリと言い換えクエリの両方に対してリtrievalモデル（例：DPH、DPH+QE、DPH+BERT）を適用し、効果性を測定することで実施される。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 深層強化学習モデルは、標準的なseq2seqベースラインと比較して、検索効果性を向上させるクエリ言い換えを生成できるか？
• RQ2 RQ2: 報酬関数にクエリ効果性予測を統合することで、標準的なRLまたはseq2seqモデルと比較してより効果的な言い換えが得られるか？
• RQ3 RQ3: DRQRは、クエリ拡張（QE）やBERT再ランク付けといった既存の検索強化技術と効果的に組み合わせられ、さらなる性能向上を実現できるか？
• RQ4 RQ4: 報酬トレードオフハイパーパrameter λ は、異なるリtrievalモデルにおけるDRQRの性能にどのように影響を与えるか？

主な発見

• DRQRは、オリジナルクエリ（q0）と比較して、3つのリtrieval設定すべてでNDCG@10が向上し、3つのうち2つの設定でMAPが向上した。これは一貫したがやや小さい向上を示している。
• DPH+QEと組み合わせた場合、DRQRはNDCG@10が0.6017に達し、ベースラインのDPH+QE（0.6008）をわずかに上回った。
• DPH+BERT設定では、DRQRはNDCG@10を0.5722から0.5773に向上させ、オリジナルクエリと比較して明確な改善を示した。
• 最適な報酬トレードオフハイパーパラメータ λ は0.3または0.5であった。これらの値が、すべてのリtrievalモデルでNDCG@10を最大にした。
• DRQRが言い換えを生成したのは43件のテストクエリのうち35件にとどまり、QPPコンponentの影響を受けて慎重な方針を取っていることが示された。
• モデルが生成する言い換えは、しばしば'what is'で始まることが多く、テキスト生成における事前学習埋め込みの欠如により、質問型n-gramに偏っている傾向があることが示唆された。