[論文レビュー] An Updated Duet Model for Passage Re-ranking

Bhaskar Mitra, Nick Craswell|arXiv (Cornell University)|Mar 18, 2019

Topic Modeling参考文献 22被引用数 34

ひとこと要約

この論文は Duet v2 を提示し、単純な修正（IDF-weighted interactions、word embeddings、ReLU 活性化、bagging を用いた MLP 融合）を組み込んだ更新された神経パッセージ再ランキングモデルを提案し、アブレーションを通じて MS MARCO の性能改善を示します。

ABSTRACT

We propose several small modifications to Duet---a deep neural ranking model---and evaluate the updated model on the MS MARCO passage ranking task. We report significant improvements from the proposed changes based on an ablation study.

研究の動機と目的

• MS MARCO パッセージランキングのための Duet ニューラルランキングモデルの改善を動機づける。
• 性能と訓練効率を高めるためのシンプルなアーキテクチャと入力表現の変更を提案する。
• アブレーション研究を通じて各修正の影響を定量化し、最先端の非-BERT ベースラインと比較する。

提案手法

• 分散サブモデルで文字レベルの n-グラフ符号化を語彙埋め込みに置換して訓練を高速化する。
• 局所相互作用行列に IDF 重み付けを組み込み、識別的なクエリ語の重要性を強調する。
• モデル全体で Tanh を ReLU 活性化に置換し、訓練速度と性能向上の可能性を追求する。
• 局所サブモデルと分散サブモデルのベクトル出力を結合するために多層パーセプトロンを用い、単一のスカラー結合ではなく jointly 融合する。
• 異なるシードとデータサンプルで複数の Duet v2 モデルを訓練してアンサンブル予測を行い、バギングを適用する。
• Triplets (q, p+, p−) に対してクロスエントロピー損失で訓練し、Adam オプティマイザと固定ハイパーパラメータを用いる；入力をトリムする；語彙を制限する；固定の隠れ層サイズ。

実験結果

リサーチクエスチョン

• RQ1 IDF 重み付けされたクエリと文書の相互作用は MS MARCO のランキング性能を改善するか。
• RQ2 非線形活性化（ReLU）と sub-model 出力の ML P 融合は元の Duet 設計を上回るか。
• RQ3 Duet v2 の複数モデルを用いるバギングは MS MARCO のパッセージランキングに追加の改善をもたらすか。
• RQ4 更新された Duet v2 は非-BERT ベースラインおよび BERT ベースのアプローチと比較して MS MARCO でどの程度優れているか。

主な発見

• Duet v2 は dev セットでの MRR@10 が 0.243、eval セットで 0.245。
• 8 モデルの Duet v2 のアンサンブルは MRR@10 が 0.252（dev）および 0.253（eval）。
• IDF 重み付けを除去したアブレーションは MRR を約 33%低下させる。
• Tanh を ReLU に置換した場合、無効化時に約 26% の MRR の低下を引き起こす。
• 局所および分散スコアの線形結合を用いた場合（MLP の代わりに）MRR が約 14% 低下。
• バギングは MRR の追加約 3% の改善をもたらす。
• Duet v2 は MS MARCO の他の非-BERT トップ手法と同等の性能に近づき、訓練もはるかに速く行われる（Tesla K40 で 1.5 時間）。