[論文レビュー] Rewire-then-Probe: A Contrastive Recipe for Probing Biomedical Knowledge of Pre-trained Language Models

Zaiqiao Meng, Fangyu Liu+4 more|arXiv (Cornell University)|Oct 15, 2021

Topic Modeling被引用数 5

ひとこと要約

この論文では、UMLSメタテーザウラスから抽出された、体系的なバイオメディカル知識のプローブ評価ベンチマークであるMedLAMAを紹介し、タスク固有のデータを一切使用せずに事実知識のプローブ性能を向上させる自己教師付きコントラスト的微調整手法Contrastive-Probeを提案する。この手法により、acc@10が3%から24%に向上し、バイオメディカルPLMにまだ解き放てていない知識が多数存在することを示し、UMLSに不完全な知識カバレッジがあることが原因で、現在の評価ベンチマークに限界があることが明らかになった。

ABSTRACT

Knowledge probing is crucial for understanding the knowledge transfer mechanism behind the pre-trained language models (PLMs). Despite the growing progress of probing knowledge for PLMs in the general domain, specialised areas such as biomedical domain are vastly under-explored. To catalyse the research in this direction, we release a well-curated biomedical knowledge probing benchmark, MedLAMA, which is constructed based on the Unified Medical Language System (UMLS) Metathesaurus. We test a wide spectrum of state-of-the-art PLMs and probing approaches on our benchmark, reaching at most 3% of acc@10. While highlighting various sources of domain-specific challenges that amount to this underwhelming performance, we illustrate that the underlying PLMs have a higher potential for probing tasks. To achieve this, we propose Contrastive-Probe, a novel self-supervised contrastive probing approach, that adjusts the underlying PLMs without using any probing data. While Contrastive-Probe pushes the acc@10 to 28%, the performance gap still remains notable. Our human expert evaluation suggests that the probing performance of our Contrastive-Probe is still under-estimated as UMLS still does not include the full spectrum of factual knowledge. We hope MedLAMA and Contrastive-Probe facilitate further developments of more suited probing techniques for this domain.

研究の動機と目的

• バイオメディカル分野における専用の知識プローブ評価ベンチマークの不足、特にマルチトークンエンティティや複雑な関係を扱う分野の課題を解決すること。
• 最先端のプローブ手法やバイオメディカルPLMがバイオメディカル知識プローブタスクでなぜ低性能にとどまるのかを調査すること。
• ラベル付きプローブデータを必要とせず、データ効率的かつ自己教師付きの手法により、PLMの知識プローブ性能を向上させること。
• UMLSのような既存のベンチマークが、知識ベースの不完全または欠落した事実カバレッジのため、モデル性能を過小評価している程度を評価すること。
• バイオメディカルPLMの真の知識容量は、現在の指標が示すよりも高い可能性があることを示し、特に改善されたプローブ技術や表現手法を用いることで、隠れた事実知識を解き放てる可能性を示すこと。

提案手法

• UMLSメタテーザウラスから抽出した19の関係と19,000件のクエリを有するバイオメディカルプローブベンチマークMedLAMAを構築し、分野の専門家による検証を実施。
• クエリのトークンオーバーラップに基づいて、難易度の高い例と簡単な例を設計し、モデルの一般化性能とロバストネスを評価。
• プローブデータを一切使用せず、バイオメディカルテキストからの生の文のみを用いてPLMを微調整する自己教師付きコントラスト的微調整手法Contrastive-Probeを提案。
• 同じ入力のポジティブおよびネガティブなビュー間の一致を最大化することで、モデルの表現空間を再構築し、事実知識の符号化を向上させる。
• プローブデータでの微調整を必要としないため、複数のバイオメディカルPLM（例：PubMedBERT、BioBERT）に対して適用可能であり、モデル間の公平な比較が可能。
• 人間の専門家による評価を用いて、モデルの予測をUMLSの正解と照合し、知識ベースにエントリが欠落しているため、正当なモデル出力が評価から除外されるケースが多数存在することが判明。

実験結果

リサーチクエスチョン

• RQ1 最先端のプローブ手法やバイオメディカルPLMが、一般NLPタスクでは優れた性能を示すにもかかわらず、MedLAMAではなぜ3%のacc@10にとどまるのか？
• RQ2 タスク固有のデータを一切使用せずに、自己教師付きコントラスト的微調整が、バイオメディカルPLMの事実知識プローブ性能をどの程度向上できるか？
• RQ3 異なるトランスフォーマー層は、どのような種類の事実知識を別々に符号化しているのか？また、これは関係タイプごとの性能にどのように影響するか？
• RQ4 UMLS知識ベースが、正当な事実知識を不完全にカバーしているため、モデルの評価指標が過剰に悲観的になっている程度はどの程度か？
• RQ5 コントラスト的事前学習のレシピは、バイオメディカルPLMに隠れた事実知識を効果的に解き放てるか？また、プロンプトベースや微調整アプローチと比較して、どのように異なるか？

主な発見

• MedLAMAベンチマークは、既存のプローブ手法がバイオメディカル知識プローブタスクで3%のacc@10にとどまることを明らかにし、専門分野において顕著な性能不足を示している。
• Contrastive-Probeにより、自己教師付きコントラスト的微調整によって、最高性能のacc@10が3%から24%に向上し、プローブデータを一切使用せずに顕著な改善が達成された。
• 異なるトランスフォーマー層は、異なる種類の事実知識を符号化しており、特に「遺伝子産物は生化学的機能を有する」や「疾患は分子異常を有することがある」などの関係タイプでは、一部の層がより優れた性能を示している。
• 人間の専門家による評価では、UMLS知識ベースにエントリが欠落しているため、正当なモデル予測が評価から除外されるケースが多く存在することが判明し、現在のベンチマークがモデルを過剰に罰している可能性がある。
• バイオメディカルPLMの真の知識容量は、現在の測定値よりも高いことが示された。表現空間（コントラスト学習による）および入力空間（プロンプト工学による）の両方をさらに最適化することで、隠れた事実知識を解き放てる可能性がある。