[論文レビュー] Context Variance Evaluation of Pretrained Language Models for Prompt-based Biomedical Knowledge Probing

Zonghai Yao, Y. Cao+2 more|PubMed|Nov 18, 2022

Topic Modeling参考文献 9被引用数 5

ひとこと要約

本稿では、事前学習言語モデル（PLM）のバイオメディカル知識プローブ評価における信頼性と公平性を向上させるために、コンテキスト分散プロンプティングと、新たなランク変化ベースの指標である理解・誤解・誤った理解（UCM）を提案する。MIMIC-III、PMC、および新しいLMC-EHRsデータセットから得られる多様で現実世界のバイオメディカル文脈を統合することで、プロンプトベースの評価におけるバイアスを低減し、特にレアな関係や大規模N対M関係においてモデルの理解度をよりよく捉える。12種類のPLMにおいて、単なるコピーよりも洗練された理解が検出可能であり、安定性が向上した。

ABSTRACT

Pretrained language models (PLMs) have motivated research on what kinds of knowledge these models learn. Fill-in-the-blanks problem (e.g., cloze tests) is a natural approach for gauging such knowledge. BioLAMA generates prompts for biomedical factual knowledge triples and uses the Top-k accuracy metric to evaluate different PLMs' knowledge. However, existing research has shown that such prompt-based knowledge probing methods can only probe a lower bound of knowledge. Many factors like prompt-based probing biases make the LAMA benchmark unreliable and unstable. This problem is more prominent in BioLAMA. The severe long-tailed distribution in vocabulary and large-N-M relation make the performance gap between LAMA and BioLAMA remain notable. To address these, we introduced context variance into the prompt generation and proposed a new rank-change-based evaluation metric. Different from the previous known-unknown evaluation criteria, we proposed the concept of "Misunderstand" in LAMA for the first time. Through experiments on 12 PLMs, we showed that our context variance prompts and Understand-Confuse-Misunderstand (UCM) metric make BioLAMA more friendly to large-N-M relations and rare relations. We also conducted a set of control experiments to disentangle "understand" from just "read and copy".

研究の動機と目的

• 既存のプロンプトベースの知識プローブ手法における不安定さとバイアス、特にバイオメディカル分野における問題を是正すること。
• BioLAMAにおける3つの主要バイアス（プロンプト好まないバイアス（PPB）、インスタンス表現バイアス（IVB）、サンプル差異バイアス（SDB））を軽減すること。
• 長尾語彙分布とPLM予測の高さの曖昧さに起因する、希少関係および大規模N対M関係に対する評価の公平性を向上させること。
• 真の理解と単なるコンテキストコピーよりも区別できる新しい評価指標を開発すること。Top-k正解率を超える。
• 実証的に、特にバイオメディカル特化型PLMが、単なる記憶やコピーよりも真の知識理解を示しているかどうかを検証すること。

提案手法

• MIMIC-III（EHR）、PMC（出版論文）、および評価対象PLMが未接触の新しいLMC-EHRsデータセットの3つのソースからの実際のバイオメディカルテキストを用いて、合成プロンプトを生成することでコンテキストの多様性を導入する。
• ターゲットエンティティ（S, O_t）、正しい代替エンティティ（O_cor）、誤ったエンティティ（O_incor）の周囲にコンテキストセグメントを構築し、[MASK]トークンにおけるランクシフトを観察するために段階的にプロンプトに追加する。
• ランク変化に基づいてUCM指標を定義：多様なコンテキストでO_tが一貫して高い順位を保つ場合を「理解」と分類し、低順位に位置する場合は「誤解」とし、誤ったまたは代替エンティティを好む場合は「誤った理解」と分類する。
• UMLSコンセプトマッピングを用いてエンティティ表現を標準化し、インスタンス表現バイアス（IVB）を低減する。
• O_tをネガティブターゲットに置き換えた制御実験を実施。逆転したランクシフトを観察することで、理解とコピーよりも明確に区別できる。
• 数千ものコンテキスト変化付きプロンプトにおけるランク変化の統計的分析を用い、PLMが事実を真に理解しているのか、単にコンテキストからコピーリングしているのかを判断する。

実験結果

リサーチクエスチョン

• RQ1 コンテキスト分散をプロンプトに組み込むことで、希少関係や大規模N対M関係においても、バイオメディカルPLMの知識プローブの信頼性が向上するか？
• RQ2 提案されたUCM指標は、Top-k正解率よりも真の理解とコンテキスト依存的コピーよりも明確に区別できるか？
• RQ3 コンテキスト分散プロンプトは、プロンプト好まないバイアス（PPB）、インスタンス表現バイアス（IVB）、サンプル差異バイアス（SDB）をどの程度軽減できるか？
• RQ4 バイオメディカルPLMは、事実的知識を真に理解しているのか、それとも単に入力コンテキストからコピーリングしているだけなのか？
• RQ5 異なるPLMはコンテキスト分散に対してどのように反応するか？また、関係タイプやエンティティ頻度に応じて、その挙動は体系的に変化するか？

主な発見

• UCM指標は、誤ったエンティティや代替エンティティを好む「誤った理解」行動を効果的に同定し、従来のTop-k ACC評価では明らかでなかった限界を明らかにした。
• コンテキスト分散プロンプトは、特に希少関係や大規模N対M関係において、評価の安定性と公平性を顕著に向上させ、LAMAとBioLAMAの性能差を縮小した。
• 制御実験では、PLM、特にバイオメディカル特化型モデル（例：BioBERT）が、O_tをネガティブターゲットに置き換えた際に一貫したランクシフトを示した。これは、コピーよりも真の理解が裏付けられていることを示している。
• UCM指標は、コンテキストが多様化するほど、PLMが事実を「理解」する確率が高くなることを明らかにした。特にターゲットエンティティが希少である場合や大規模N対M関係に属する場合に顕著であった。
• 多様で現実世界のコンテキストと標準化されたエンティティマッピングを用いることで、PPB、IVB、SDBが効果的に軽減され、PLM間でのより信頼性の高い比較可能な評価が可能になった。
• 12種類のPLMを用いた実証的結果から、コンテキスト分散とUCMは、特に複雑なバイオメディカル状況において、より強固で解釈可能な知識プローブを実現した。