[論文レビュー] Pre-training Transformer Models with Sentence-Level Objectives for Answer Sentence Selection

Luca Di Liello, Siddhant Garg+2 more|arXiv (Cornell University)|May 20, 2022

Topic Modeling被引用数 5

ひとこと要約

本稿では、パラグラフおよびドキュメントレベルの意味を統合することで、回答文選択（AS2）の性能を向上させるために、トランスフォーマー向けに3つの新しい文レベルの事前学習目的を提案する。モデルは文からパラグラフ、およびパラグラフからドキュメントへの関係を予測するように学習され、追加のラベル付きデータなしで、公開および産業用のAS2データセットにおいてRoBERTaおよびELECTRAより3–4%のF1スコア向上を達成する。

ABSTRACT

An important task for designing QA systems is answer sentence selection (AS2): selecting the sentence containing (or constituting) the answer to a question from a set of retrieved relevant documents. In this paper, we propose three novel sentence-level transformer pre-training objectives that incorporate paragraph-level semantics within and across documents, to improve the performance of transformers for AS2, and mitigate the requirement of large labeled datasets. Specifically, the model is tasked to predict whether: (i) two sentences are extracted from the same paragraph, (ii) a given sentence is extracted from a given paragraph, and (iii) two paragraphs are extracted from the same document. Our experiments on three public and one industrial AS2 datasets demonstrate the empirical superiority of our pre-trained transformers over baseline models such as RoBERTa and ELECTRA for AS2.

研究の動機と目的

• 大規模なラベル付きデータセットへの依存を減らすことで、リソースが限られた環境における回答文選択（AS2）の性能を向上させること。
• 現在の事前学習アプローチで未だ十分に活用されていないパラグラフおよびドキュメントレベルの意味を組み込んだ、文ペア表現の向上。
• 現実のQAシナリオの複雑さを模倣するように、文レベルの事前学習目的を設計し、ドキュメント間およびパラグラフ間の関係を捉えること。
• これらの目的で事前学習を行うことで、追加のラベル付きデータを必要とせずに、下流のAS2タスクの性能が向上することを示すこと。
• AS2データセットにおける効率的な微調整を可能にするために、コードおよび事前学習済みモデルを公開すること。

提案手法

• 3つの新しい文レベルの事前学習目的を提案：(i) 同一パラグラフ内文予測、(ii) パラグラフ内文からの予測、(iii) 同一ドキュメント内パラグラフ予測。
• モデルがパラグラフおよびドキュメントを横断する階層的意味的関係を学習できるように、文ペアを対象にした目的を設計。
• 大規模なWikipediaデータ上で、マスク言語モデル（MLM）と提案された目的の組み合わせを用いて、RoBERTa-BaseおよびELECTRA-Baseモデルを事前学習。
• 各目的に対してネガティブおよびポジティブペアを構築するデータサンプリング戦略を採用し、多様で挑戦的な学習例を保証。
• 目的の設計によって対照的学習の原則を間接的に活用し、意味的に関連するか否かの文/パラグラフペアを区別できるようにモデルを促進。
• 下流のAS2データセットにおける微調整を促進するために、コードおよび事前学習済みモデルのチェックポイントを公開。

実験結果

リサーチクエスチョン

• RQ1 パラグラフおよびドキュメントレベルの意味をモデル化する文レベルの事前学習目的は、AS2性能を向上させることができるか？
• RQ2 提案された目的は、標準的なMLMおよびNSP/SOP目的と比較して、より優れた汎化性能をもたらすか？
• RQ3 事前学習済みモデルは、大規模なラベル付きAS2データセットの必要性をどの程度低減できるか？
• RQ4 NSPおよびSOPと比較して、提案された目的の難易度はどの程度高いか？
• RQ5 追加のデータなしで、多様なAS2ベンチマークにおいて、事前学習済みモデルを効果的に微調整できるか？

主な発見

• 提案された事前学習目的により、3つの公開および1つの産業用AS2データセットにおいて、RoBERTaおよびELECTRAベースラインよりF1スコアが3–4ポイント向上した。
• MLMのみで事前学習されたモデルは、提案された目的を用いたモデルより性能が劣っており、性能向上は新しい目的に起因するものであり、データサンプリングによるものではないことが示された。
• NSPおよびSOPと比較して、事前学習タスクの難易度が著しく高く、検証精度が低い（例：SSPで約80%、NSPで約94%）ことから、より豊かな意味的学習が行われていることが裏付けられた。
• 関連する回答をより高い順位にランク付けできる能力が向上しており、これは事前学習段階で複数のパラグラフおよびドキュメントを横断した推論を学習したためと推測される。
• アブレーションスタディにより、性能向上はハイパーパramータチューニングやデータサンプリングによるものではなく、新規の事前学習目的に起因することが確認された。
• 事前学習済みモデルはAS2ベンチマークで最先端の結果を達成しており、文レベルの事前学習にドキュメントレベルの意味を統合することが有効であることが示された。