[論文レビュー] Improving BERT Model Using Contrastive Learning for Biomedical Relation Extraction

Peng Su, Yifan Peng+1 more|arXiv (Cornell University)|Apr 28, 2021

Topic Modeling参考文献 33被引用数 4

ひとこと要約

本稿では、最短依存パス（SDP）に配慮したデータ拡張と外部知識ベースの活用を通じて言語的知識を統合することで、BERTの表現を強化する対照的学習フレームワークを提案する。この手法は、ChemProt、DDI、PPIのベンチマークで最先端の性能を達成し、予測のずれを低減することでモデルの妥当性を向上させ、根拠に依存する強度を高めている。

ABSTRACT

Contrastive learning has been used to learn a high-quality representation of the image in computer vision. However, contrastive learning is not widely utilized in natural language processing due to the lack of a general method of data augmentation for text data. In this work, we explore the method of employing contrastive learning to improve the text representation from the BERT model for relation extraction. The key knob of our framework is a unique contrastive pre-training step tailored for the relation extraction tasks by seamlessly integrating linguistic knowledge into the data augmentation. Furthermore, we investigate how large-scale data constructed from the external knowledge bases can enhance the generality of contrastive pre-training of BERT. The experimental results on three relation extraction benchmark datasets demonstrate that our method can improve the BERT model representation and achieve state-of-the-art performance. In addition, we explore the interpretability of models by showing that BERT with contrastive pre-training relies more on rationales for prediction. Our code and data are publicly available at: https://github.com/udel-biotm-lab/BERT-CLRE.

研究の動機と目的

• 対照的学習を用いて、言語的知識を統合することで、生物医学的関係抽出のためのBERTのテキスト表現を向上させること。
• 自然言語処理におけるテキストデータ拡張の限界を克服するため、最短依存パス（SDP）を介して言語的知識を統合すること。
• 外部知識ベースからの大規模なトレーニングデータの構築により、モデルの一般化性能を向上させること。
• 予測のずれを測定する新しい予測ずれ指標を用いて、入力の根拠（rationales）への忠実性を向上させることで、モデルの解釈可能性を高めること。
• 標準的な生物医学的関係抽出ベンチマークにおいて、最先端の性能と高い頑健性を示すこと。

提案手法

• エンティティペア間の最短依存パス（SDP）以外の語に対して同義語置換を適用することで、正例ペアを生成する対照的事前学習ステップを導入する。
• SDP上のすべての語を保持することで、関係に関連する情報を維持し、意味的整合性を確保する。
• 遠隔監視から得られる外部知識ベース（例：）を活用して、対照的事前学習のための追加のトレーニングインスタンスを生成する。
• 拡張されたビュー同士の一致を最大化し、負例ペアとの類似度を最小化するように、対照的学習目的関数に従ってBERTモデルを訓練する。
• SDPに依存しない入力の摂動を加えた際の予測変化を測定することで、予測のずれ指標を用いてモデルの忠実性を評価する。
• BioBERTおよびPubMedBERTをバックボーンとして用い、ChemProt、DDI、PPIの3つの生物医学的関係抽出タスクに本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 言語的にインスパイアされたデータ拡張と組み合わせた対照的学習は、生物医学的関係抽出のためのBERT表現を向上させ得るか？
• RQ2 外部知識ベースの統合は、対照的に事前学習されたBERTモデルの関係抽出における一般化性能にどのように影響するか？
• RQ3 対照的事前学習は、特に最短依存パス（SDP）を根拠として使用する予測の忠実性を向上させるか？
• RQ4 対照的事前学習を経ることで、モデルの入力摂動に対する頑健性はどの程度向上するか？
• RQ5 予測のずれを測定する新しい指標は、生物医学的関係抽出におけるモデルの根拠への忠実性を効果的に測定できるか？

主な発見

• 提案手法は、ChemProt、DDI、PPIの3つのベンチマークデータセットすべてで最先端の性能を達成し、標準的なBERTおよびPubMedBERTを上回った。
• ChemProtデータセットでは、BioBERT+CLEKで予測のずれを246から191（22%減少）に、PubMedBERT+CLEKで248から189（24%減少）に低下させた。
• DDIデータセットでは、BioBERT+CLEKで予測のずれを111から89（20%減少）に、PubMedBERT+CLEKで90から75（17%減少）に低下させた。
• PPIデータセットでは、BioBERT+CLEKで予測のずれを51から33（35%減少）に、PubMedBERT+CLEKで49から34（31%減少）に低下させた。
• 予測のずれの低減は、対照的に事前学習されたモデルが最短依存パス（SDP）を根拠としてより強く依存していることを示しており、解釈可能性と忠実性の向上を示している。
• 微小でSDPに依存しない入力変更に対してもモデルの頑健性が向上しており、一般化性能と安定性の向上が確認された。