[論文レビュー] BERTSel: Answer Selection with Pre-trained Models

Dongfang Li, Yifei Yu+2 more|arXiv (Cornell University)|May 18, 2019

Topic Modeling参考文献 13被引用数 12

ひとこと要約

この論文では、一対の順序付け問題として扱うことで、微調整されたBERTベースのモデルBertSelを紹介している。BERTの文脈的表現と交差エントロピー損失およびヒンジ損失を組み合わせたハイブリッド損失を活用することで、5つのベンチマークデータセットにおいて最先端の性能を達成し、MRRおよびMAPスコアにおいて従来の手法を顕著に上回った。

ABSTRACT

Recently, pre-trained models have been the dominant paradigm in natural language processing. They achieved remarkable state-of-the-art performance across a wide range of related tasks, such as textual entailment, natural language inference, question answering, etc. BERT, proposed by Devlin et.al., has achieved a better marked result in GLUE leaderboard with a deep transformer architecture. Despite its soaring popularity, however, BERT has not yet been applied to answer selection. This task is different from others with a few nuances: first, modeling the relevance and correctness of candidates matters compared to semantic relatedness and syntactic structure; second, the length of an answer may be different from other candidates and questions. In this paper. we are the first to explore the performance of fine-tuning BERT for answer selection. We achieved STOA results across five popular datasets, demonstrating the success of pre-trained models in this task.

研究の動機と目的

• 事前学習されたBERTモデルが、従来、浅い単語埋め込みを用いたモデルが支配的であった回答選択タスクに効果的に適用できるかを調査すること。
• 深いつながりのある文脈表現を用いたトランスファーラーニングにより、既存の回答選択モデルの一般化能力の限界を克服すること。
• 微調整されたBERTが、タスク固有のアーキテクチャや特徴工学的モデルを上回ることを示すこと。
• モデルサイズ（base対large）および学習エポック数が回答選択性能に与える影響を分析すること。

提案手法

• モデルは一対の学習アプローチを採用しており、各訓練インスタンスは質問と1つの正例および1つの負例の回答から構成される。
• 入力シーケンスは[CLS]質問[SEP]回答[SEP]として構築され、BERTが各ペアをエンコードして[CLS]トークンの埋め込みを出力する。
• 全結合層に続いてシグモイド活性化関数を適用し、各ペアの関連スコアを最終的に出力する。
• 正例と負例の予測の負対数尤度と、マージンに基づくヒンジ損失を組み合わせることで、順序制約を強制する。
• 組み合わせ損失は以下の式で定義される：λ₁(logŷθ(q,p) + log(1−ŷθ(q,n))) + λ₂max{0, m − ŷθ(q,p) + ŷθ(q,n)}、ここでλ₁=λ₂=0.5。
• Adam最適化とエアリー・ストッピングを用いて、ラベル付きの回答選択データセット上でエンドツーエンドでモデルを微調整する。

実験結果

リサーチクエスチョン

• RQ1 大規模なテキストで事前学習されたBERTは、タスク固有のアーキテクチャ設計を施さずに、回答選択タスクに効果的に一般化できるか？
• RQ2 手作業で特徴を設計したモデルや浅い埋め込みに依存する従来の最先端手法と比較して、BERTベースの微調整はどのように異なるか？
• RQ3 モデルサイズ（base 対 large）および学習期間（エポック数）が回答選択性能に与える影響は何か？
• RQ4 交差エントロピー損失とヒンジ損失を組み合わせたハイブリッド損失は、回答選択における順序付け性能を向上させるか？

主な発見

• BertSelは、TrecQA、WikiQA、YahooQA、SemEvalcQA-16、SemEvalcQA-17の5つの標準的ベンチマークで最先端の結果を達成した。
• TrecQAでは、BERT baseが3エポック後にMRR=0.927、MAP=0.877を達成し、従来の最先端のMRR=0.865、MAP=0.904を上回った。
• WikiQAでは、BERT baseがMRR=0.770、MAP=0.753を達成し、従来の最先端のMRR=0.758、MAP=0.746を上回った。
• YahooQAでは、BERT baseがMRR=0.942、MAP=0.942を達成し、従来の最先端のMRR=0.801、MAP=0.801を上回った。
• SemEvalcQA-16では、BERT baseがMRR=0.872、MAP=0.810を達成し、従来の最先端のMRR=0.872、MAP=0.801を上回った。
• SemEvalcQA-17では、BERT baseがMRR=0.951、MAP=0.909を達成し、従来の最先端のMRR=0.926、MAP=0.887を上回った。