[論文レビュー] Infusing Disease Knowledge into BERT for Health Question Answering, Medical Inference and Disease Name Recognition

Yun He, Ziwei Zhu+3 more|arXiv (Cornell University)|Oct 8, 2020

Topic Modeling参考文献 41被引用数 10

ひとこと要約

本稿では、Wikipediaに構造化された記事を用いて、疾患記述テキストから疾患およびアスペクトラベルを予測させるように訓練することで、BERTおよび生物医学的BERT変種の健康NLPタスクにおける性能向上を図る疾患知識インジェクション手法を提案する。このアプローチにより、健康分野の質問応答、医療推論、疾患名認識の各タスクで性能向上が達成され、BioBERTはMEDIQA-2019で72.09%の正確度を達成し、元のモデル比で3.8%の絶対的向上を示した。

ABSTRACT

Knowledge of a disease includes information of various aspects of the disease, such as signs and symptoms, diagnosis and treatment. This disease knowledge is critical for many health-related and biomedical tasks, including consumer health question answering, medical language inference and disease name recognition. While pre-trained language models like BERT have shown success in capturing syntactic, semantic, and world knowledge from text, we find they can be further complemented by specific information like knowledge of symptoms, diagnoses, treatments, and other disease aspects. Hence, we integrate BERT with disease knowledge for improving these important tasks. Specifically, we propose a new disease knowledge infusion training procedure and evaluate it on a suite of BERT models including BERT, BioBERT, SciBERT, ClinicalBERT, BlueBERT, and ALBERT. Experiments over the three tasks show that these models can be enhanced in nearly all cases, demonstrating the viability of disease knowledge infusion. For example, accuracy of BioBERT on consumer health question answering is improved from 68.29% to 72.09%, while new SOTA results are observed in two datasets. We make our data and code freely available.

研究の動機と目的

• 標準的なBERT事前学習が、症状、診断、治療法などの構造化された疾患知識を捉えきれていないという限界を是正すること。
• 明示的な疾患知識を統合することで、一般の健康関連NLPタスク—消費者向け健康質問応答、医療言語推論、疾患名認識—の性能を向上させること。
• Wikipediaのセクションを用いて弱教師ありの訓練手順を開発し、疾患およびアスペクト予測のための信号を提供すること。
• 疾患固有の知識を統合することで、一般事前学習を超えたBERTベースのモデルの性能向上が達成されることを示すこと。

提案手法

• 疾患の『診断』や『治療』などのセクションから、疾患記述用のパassageを構築し、特定のアスペクトサブセクションからのテキストを抽出する。
• 『[疾患]の[アスペクト]は何か？』のような補助的文を各パassageに先頭に付加し、明示的な監視信号を提供する。
• 補助文内の疾患およびアスペクトをマスクし、BERTを微調整して、パassageを入力としてそのマスクされた疾患およびアスペクトを予測させる。これにより、疾患およびアスペクト推論の共同学習が可能になる。
• マスク言語モデルと疾患／アスペクト予測の両方を含むマルチタスク目的を採用し、最適化を向上させるために、raw logitsを最大化する損失関数を用いる。
• Wikipediaの疾患関連記事の大規模コーパスを事前学習に用い、記事の階層的構造を活用して知識インジェクションをガイドする。
• BioBERT、ClinicalBERT、ALBERTなど、複数のBERT変種にこの手法を適用し、アーキテクチャ間での汎用性を評価する。

実験結果

リサーチクエスチョン

• RQ1 BERTに構造化された疾患知識を統合することで、質問応答や医療推論などの健康関連NLPタスクの性能が向上するか？
• RQ2 提案された疾患知識インジェクション手法は、生物医学的NLPタスクにおいて標準的なマスク言語モデル事前学習を上回るか？
• RQ3 疾患またはアスペクトがパassageに明示的に記載されていない場合、補助的質問文の導入がモデル性能に与える影響は？
• RQ4 疾患予測とアスペクト予測のどちらが、全体のタスク性能により大きな影響を及ぼすか？
• RQ5 この疾患知識インジェクション手法は、生物医学的および大規模アーキテクチャ（例：ALBERT）を含む、さまざまなBERTアーキテクチャに一般化可能か？

主な発見

• MEDIQA-2019の消費者向け健康質問応答ベンチマークにおいて、BioBERTの正確度は疾患知識インジェクション後、68.29%から72.09%に上昇し、3.8%の絶対的向上を示した。
• 2つのデータセットで新たなSOTA（最先端）成績を達成し、複数のタスクおよびモデルで一貫した性能向上を示した。
• 補助文を削除すると正確度が78.23%から79.49%に低下した。これは、疾患やアスペクトが明示的に記載されていないパassageに対しても有効であることを示している。
• 疾患予測がアスペクト予測よりも重要であった：疾患予測を削除すると正確度は72.90%に低下したが、アスペクト予測を削除した場合はより小さな低下にとどまった。
• 提案された疾患インジェクションタスクは、標準的な15%ランダムマスク事前学習を上回り、77.06% vs. 79.49%の正確度を示した。これは、構造化されたマスクがランダムマスクよりも効果的であることを示している。
• ALBERTは、いくつかのベンチマークで生物医学的BERTモデルと同等またはより高い性能を達成した。これは、より大規模なアーキテクチャへのスケーリングの可能性を示唆している。