[論文レビュー] BAS: An Answer Selection Method Using BERT Language Model

Jamshid Mozafari, Afsaneh Fatemi+1 more|arXiv (Cornell University)|Nov 4, 2019

Topic Modeling参考文献 30被引用数 15

ひとこと要約

本稿では、質問と候補回答の意味的・構文的理解を向上させるためにBERT言語モデルを活用する新しい回答選択手法BAS（BERT Answer Selection）を提案する。TrecQA Raw、TrecQA Clean、WikiQAのデータセットにおける実験では、BASは従来手法を顕著に上回り、きめ細かい言語モデリングが回答選択性能を向上させることを示している。特に、効果的な分類器と組み合わせた場合に顕著な効果が得られる。

ABSTRACT

In recent years, Question Answering systems have become more popular and widely used by users. Despite the increasing popularity of these systems, the their performance is not even sufficient for textual data and requires further research. These systems consist of several parts that one of them is the Answer Selection component. This component detects the most relevant answer from a list of candidate answers. The methods presented in previous researches have attempted to provide an independent model to undertake the answer-selection task. An independent model cannot comprehend the syntactic and semantic features of questions and answers with a small training dataset. To fill this gap, language models can be employed in implementing the answer selection part. This action enables the model to have a better understanding of the language in order to understand questions and answers better than previous works. In this research, we will present the "BAS" (BERT Answer Selection) that uses the BERT language model to comprehend language. The empirical results of applying the model on the TrecQA Raw, TrecQA Clean, and WikiQA datasets demonstrate that using a robust language model such as BERT can enhance the performance. Using a more robust classifier also enhances the effect of the language model on the answer selection component. The results demonstrate that language comprehension is an essential requirement in natural language processing tasks such as answer-selection.

研究の動機と目的

• 従来の回答選択モデルが、特に小規模なデータセットにおいて意味的・構文的理解に困難を抱えるという限界を是正すること。
• 事前学習済み言語モデル（例：BERT）が、質問と候補回答の文脈的理解を向上させることで、回答選択に寄与するかどうかを検討すること。
• BERTと強力な分類器を統合した統一フレームワークを構築し、回答選択タスクにおける性能を最大化すること。
• 回答選択において一般的な低リソース環境におけるBERTベースのモデリングの有効性を評価すること。
• 自然言語処理における高性能な回答選択において、言語理解がいかに重要な要素であるかを示すこと。

提案手法

• BASフレームワークは、回答選択タスクに適応するため、BERT baseモデルを微調整し、質問および候補回答の両方の文脈的表現を活用する。
• 入力シーケンスは、[CLS]および[SEP]トークンを用いて質問と各候補回答を連結することで構築され、BERTの入力形式に適合する。
• 分類のための文レベル表現として、[CLS]トークンの最終隠れ状態が使用される。
• 分類器ヘッドをBERTエンコーダーの上に追加し、各候補回答の関連スコアを予測する。
• 交差エントロピー損失を用いて、回答の関連性を最適化するように、エンドツーエンドでモデルを学習する。
• 本手法は、TrecQA Raw、TrecQA Clean、WikiQAの3つのベンチマークデータセットで評価された。

実験結果

リサーチクエスチョン

• RQ1 従来の手法と比較して、BERTベースのモデルは回答選択性能を顕著に向上させることができるか？
• RQ2 BERTのような強力な言語モデルの統合は、質問と回答における構文的・意味的特徴を捉える能力にどのように影響するか？
• RQ3 BERTによる性能向上は、埋め込みの上に使用される分類器の品質に依存するか？
• RQ4 BASは、限られた学習データを有するデータセットでどのように動作するか？
• RQ5 オープンドメインQAシステムにおける回答選択において、言語理解はどの程度性能向上に寄与するか？

主な発見

• BASは、TrecQA Raw、TrecQA Clean、WikiQAの各データセットで最先端の性能を達成し、従来手法を上回った。
• BERTの活用により、質問と回答間の意味的・構文的関係を理解する能力が顕著に向上した。
• BERTと強力な分類器を組み合わせることで、BERT単体を使用した場合よりも顕著な性能向上が得られた。
• 小規模な学習セットでもモデルの頑健性が保たれており、有効な転移学習の効果が示された。
• 実験結果から、言語理解が回答選択タスクにおける高精度を達成する上で重要な要因であることが確認された。
• 特に複雑な意味的マッチングの状況では、従来の独立型モデルと比較して、本モデルの性能が一貫して優れていた。