[論文レビュー] Pre-trained Language Model for Biomedical Question Answering

Wonjin Yoon, Jinhyuk Lee+3 more|arXiv (Cornell University)|Sep 18, 2019

Topic Modeling参考文献 28被引用数 5

ひとこと要約

本論文では、一般ドメインのSQuADデータセットからの転移学習を活用して、生物医学的質問応答のパフォーマンスを向上させるBioBERTベースの質問応答システムを提案する。factoid、リスト、yes/no質問の3つの質問タイプにわたって一貫したモデルアーキテクチャを適用し、カスタマイズされた事前および事後処理を施すことで、第7回BioASQチャレンジ（タスク7b、フェーズB）で最先端の結果を達成し、あらゆる質問タイプで先行モデルを上回った。

ABSTRACT

The recent success of question answering systems is largely attributed to pre-trained language models. However, as language models are mostly pre-trained on general domain corpora such as Wikipedia, they often have difficulty in understanding biomedical questions. In this paper, we investigate the performance of BioBERT, a pre-trained biomedical language model, in answering biomedical questions including factoid, list, and yes/no type questions. BioBERT uses almost the same structure across various question types and achieved the best performance in the 7th BioASQ Challenge (Task 7b, Phase B). BioBERT pre-trained on SQuAD or SQuAD 2.0 easily outperformed previous state-of-the-art models. BioBERT obtains the best performance when it uses the appropriate pre-/post-processing strategies for questions, passages, and answers.

研究の動機と目的

• ドメイン固有の事前学習済み言語モデルを用いて、生物医学的質問応答のパフォーマンスを向上させること。
• 大規模な一般ドメインQAデータセットからの転移学習を活用して、限られたラベル付き生物医学的QAデータの課題に対処すること。
• 構造的変更なしに、factoid、リスト、yes/noの3つの質問タイプをサポートする統合モデルアーキテクチャの開発。
• 事前処理および事後処理戦略が生物医学的QAシステムのパフォーマンスに与える影響を調査すること。

提案手法

• SQuADおよびSQuAD 2.0で事前学習したBioBERTを、さらにBioASQデータセットで微調整することで転移学習を実施。
• [CLS]トークンとセグメントエンベッディングを用いて、質問と本文を区別する単一のシーケンス入力フォーマットを採用。
• 共通のBERTエンコーダー構造を活用し、factoid、リスト、yes/no質問の各タスクに特化した出力層を適用。
• 生物医学用語に特化した正規化およびトークン化を実施する、事前処理戦略の導入。
• 予測の精度を向上させるために、回答スパンのフィルタリングや確率のしきい値処理などの事後処理技術を適用。
• 生物医学語彙におけるOoV語およびサブワードユニットを扱うために、WordPieceトークン化を採用。

実験結果

リサーチクエスチョン

• RQ1 SQuADのような一般ドメインQAデータセットで事前学習したBioBERTが、生物医学的質問応答タスクのパフォーマンス向上に寄与するか。
• RQ2 構造的変更を最小限に抑えた統合モデルアーキテクチャが、多様な生物医学的質問タイプに効果的に機能するか。
• RQ3 異なる事前処理および事後処理戦略が、生物医学的QAシステムの正確性と頑健性に与える影響は何か。
• RQ4 SQuAD 2.0からの転移学習が、SQuAD単体と比較して生物医学的QAのパフォーマンスをさらに向上させるか。

主な発見

• SQuADまたはSQuAD 2.0で事前学習したBioBERTは、BioASQ 7bフェーズBチャレンジにおいて、以前の最先端モデルを顕著に上回った。
• 第7回BioASQチャレンジの5つのテストバッチすべてで最高のパフォーマンスを達成し、factoid、リスト、yes/no質問タイプの両方で新たな最先端水準を樹立した。
• 適切な事前および事後処理戦略の適用により、顕著なパフォーマンス向上が得られ、特にリスト質問の誤ったスパンはしきい値処理によって効果的にフィルタリングされた。
• factoid質問では、上位の予測された回答を選択するだけで十分であったが、リスト質問では複数の予測と誤ったスパンを処理するための注意深い事後処理が必要であった。
• 同一の共有モデル構造と最小限のアーキテクチャ変更で、あらゆる質問タイプにわたって高いパフォーマンスを維持するという、モデルの頑健性が示された。
• 一部の誤った予測に対しては高い信頼度が示されたが、全体としてのパフォーマンスは優れており、一般ドメインの事前学習による知識の効果的な転送が裏付けられた。