[論文レビュー] Longformer for MS MARCO Document Re-ranking Task

Ivan Sekulić, Amir Soleimani+2 more|arXiv (Cornell University)|Sep 20, 2020

Topic Modeling参考文献 10被引用数 5

ひとこと要約

本論文では、MS MARCOドキュメント再ランク付けタスクにおけるドキュメント再ランク付けに、長文シーケンスに最適化されたBERTに類似したトランスフォーマーモデルであるLongformerを用いることを提案する。ローカルおよびグローバルアテンション機構を活用することで、Longformerは最大4096トークンを処理でき、開発セットではMRR@100が0.329、テストセットでは0.305を達成し、この長文ドキュメントランク付けベンチマークにおいて、以前の手法を上回った。

ABSTRACT

Two step document ranking, where the initial retrieval is done by a classical information retrieval method, followed by neural re-ranking model, is the new standard. The best performance is achieved by using transformer-based models as re-rankers, e.g., BERT. We employ Longformer, a BERT-like model for long documents, on the MS MARCO document re-ranking task. The complete code used for training the model can be found on: https://github.com/isekulic/longformer-marco

研究の動機と目的

• 長文ドキュメントを処理できるトランスフォーマー基盤のモデルを用いて、MS MARCOデータセットにおけるドキュメント再ランク付け性能を向上させること。
• 標準的なBERTがシーケンス長の制限により苦戦する長文ドキュメント再ランク付けタスクにおいて、スパースアテンションを備えたBERTに類似したモデルであるLongformerの有効性を評価すること。
• Longformerのローカルおよびグローバルアテンションの組み合わせが、2段階検索パイプラインにおける長文ドキュメントの関連性スコアリングに有効であることを示すこと。
• 微調整されたLongformerモデルを用いて、MS MARCOドキュメント再ランク付けタスクで最先端の結果を達成すること。

提案手法

• クエリを文A、ドキュメントを文Bとして扱う2ストリーム入力フォーマットを用いて、事前学習済みLongformerモデルをMS MARCOドキュメント再ランク付けデータセット上で微調整する。
• クエリとドキュメントを[CLS]および[SEP]トークンで連結し、Longformerのコンテキスト窓に収まるように最大4096トークンに切り詰める。
• 関連性予測のためのドロップアウトと非線形活性化関数を備えた2層のフィードフォワード分類器ヘッドに、Longformerの[CLS]トークン表現を入力する。
• バッチサイズ128、Adam最適化法、初期値3×10⁻⁵の初期周波数、150,000イテレーションにわたる2500ステップの線形ウォームアップを用いて、交差エントロピー損失でモデルを学習する。
• 訓練中に正例対負例ドキュメントの比率を1:100から1:10に変更することで、モデルの一般化性能と収束性を向上させる。
• PyTorch LightningとHugging Face Transformers経由のLongformerを用いて訓練を実装する。

実験結果

リサーチクエスチョン

• RQ1 標準的なBERTモデルがシーケンス長の制限により苦戦するMS MARCOドキュメント再ランク付けタスクにおいて、Longformerは長文ドキュメントの再ランク付けを効果的に行えるか？
• RQ2 ローカルおよびグローバルアテンションを組み合わせたLongformerのスパースアテンション機構は、長文ドキュメントにおける標準的な自己アテンションと比較して、関連性推定をどのように改善するか？
• RQ3 MS MARCOドキュメント再ランク付けベンチマークにおいて、Longformerは以前のニューラル再ランカー（例：Conformer-KernelやDRMM）に比べてどの程度の性能向上を達成するか？
• RQ4 元の1:100の比率から1:10のバランスの取れた正例対負例ドキュメント比率に置き換えた微調整により、再ランク付け効果が向上するか？

主な発見

• Longformerは公式MS MARCO開発セットでMRR@100が0.329を達成し、ベースラインのIndri Query Likelihood（0.192）および他のニューラルモデルを上回った。
• テストセットでは、LongformerがMRR@100で0.305を達成し、以前の最高の提出（Conformer-Kernel with QTI、開発セットで0.307、テストセットでは低かった）を上回った。
• 最大4096トークンのシーケンス処理能力のおかげで、長文ドキュメントの有効なモデリングが可能となり、これはドキュメント再ランク付けタスクにおいて極めて重要である。
• 1:10の正例対負例比率での微調整により、元の1:100の比率と比較して、訓練の安定性と性能が向上した。
• LongformerはMS MARCOドキュメント再ランク付けタスクにおいて強力な一般化性能を示し、提出時点でのトランスフォーマー基盤の再ランカーの中で最先端の結果を達成した。