[논문 리뷰] Context Variance Evaluation of Pretrained Language Models for Prompt-based Biomedical Knowledge Probing

Zonghai Yao, Y. Cao외 2명|PubMed|2022. 11. 18.

Topic Modeling참고 문헌 9인용 수 5

한 줄 요약

이 논문은 생물의학 지식 탐지에서 사전 학습된 언어 모델(PLM)의 신뢰성과 공정성을 향상시키기 위해 맥락 분산 프롬프팅과 새로운 순위 변화 기반 평가 지표인 이해-혼동-오해(Understand-Confuse-Misunderstand, UCM)를 제안한다. MIMIC-III, PMC 및 새로운 LMC-EHRs 데이터셋에서 유래한 다양한 실제 생물의학 맥락을 통합함으로써, 프롬프트 기반 평가의 편향을 줄이고, 특히 희귀 관계와 대규모-N-M 관계에서 모델의 이해도를 더 잘 포착한다. 12개의 PLM에서 복사 외의 진정한 이해가 가능해지는 안정성 향상과 감지 가능성 향상이 관찰되었다.

ABSTRACT

Pretrained language models (PLMs) have motivated research on what kinds of knowledge these models learn. Fill-in-the-blanks problem (e.g., cloze tests) is a natural approach for gauging such knowledge. BioLAMA generates prompts for biomedical factual knowledge triples and uses the Top-k accuracy metric to evaluate different PLMs' knowledge. However, existing research has shown that such prompt-based knowledge probing methods can only probe a lower bound of knowledge. Many factors like prompt-based probing biases make the LAMA benchmark unreliable and unstable. This problem is more prominent in BioLAMA. The severe long-tailed distribution in vocabulary and large-N-M relation make the performance gap between LAMA and BioLAMA remain notable. To address these, we introduced context variance into the prompt generation and proposed a new rank-change-based evaluation metric. Different from the previous known-unknown evaluation criteria, we proposed the concept of "Misunderstand" in LAMA for the first time. Through experiments on 12 PLMs, we showed that our context variance prompts and Understand-Confuse-Misunderstand (UCM) metric make BioLAMA more friendly to large-N-M relations and rare relations. We also conducted a set of control experiments to disentangle "understand" from just "read and copy".

연구 동기 및 목표

• 기존의 프롬프트 기반 지식 탐지 방법에서 발생하는 불안정성과 편향, 특히 생물의학 분야에서의 문제를 해결하기 위해.
• BioLAMA에서 발생하는 세 가지 주요 편향인 프롬프트 선호 편향(PPB), 인스턴스 언어화 편향(IVB), 샘플 불균형 편향(SDB)을 완화하기 위해.
• 희귀 관계와 대규모-N-M 관계에 대한 평가의 공정성을 향상시키기 위해, 이는 어휘 분포의 긴 尾(heavy-tailed) 특성과 PLM 예측의 높은 모호성으로 인해 어려움을 겪기 때문이다.
• 순위 기반 평가 지표인 Top-k 정확도를 넘어서, 진정한 이해와 단순한 맥락 복사 간의 차이를 구분할 수 있는 새로운 평가 지표를 개발하기 위해.
• 실증적으로 PLM, 특히 생물의학 전용 모델이 단순한 기억 또는 복사 외에 진정한 지식 이해를 보여주는지 검증하기 위해.

제안 방법

• MIMIC-III(EHRs), PMC(공개 논문), 그리고 평가 대상 PLM이 접촉하지 않은 새로운 LMC-EHRs 데이터셋에서 실제 생물의학 텍스트를 활용해 합성 프롬프트를 생성함으로써 맥락 분산을 도입한다.
• 대상 엔티티(S, O_t), 올바른 대체 엔티티(O_cor), 잘못된 엔티티(O_incor) 주변의 맥락 조각을 구성하고, 이를 점진적으로 프롬프트에 추가하여 [MASK] 토큰에서의 순위 변화를 관찰한다.
• 순위 변화 기반으로 UCM 지표를 정의한다: 다양한 맥락에서 O_t가 일관되게 높은 순위를 차지하면 '이해(Understand)'로 분류하고, 낮은 순위를 차지하면 '혼동(Confuse)'으로, 잘못된 또는 대체 엔티티를 선호하면 '오해(Misunderstand)'로 분류한다.
• UMLS 개념 매핑을 사용해 엔티티 언어화를 표준화하고 인스턴스 언어화 편향(IVB)을 줄인다.
• O_t를 부정적 타겟으로 교체한 제어 실험을 실시하여, 순서가 반대가 되는 순위 변화를 관찰함으로써 이해와 복사 간의 구분을 가능하게 한다.
• 수천 개의 맥락 변형 프롬프트에 대한 순위 변화 통계 분석을 통해, PLM이 사실을 진정으로 이해하고 있는지 아니면 단순히 맥락에서 복사하고 있는지 판단한다.

실험 결과

연구 질문

• RQ1 맥락 분산을 통한 프롬프트가 생물의학 PLM의 지식 탐지 신뢰성, 특히 희귀 관계와 대규모-N-M 관계에서 향상되는가?
• RQ2 제안된 UCM 지표가 Top-k 정확도보다 진정한 이해와 맥락 의존적 복사 간의 차이를 더 잘 식별하는가?
• RQ3 맥락 분산 프롬프트가 프롬프트 선호 편향(PPB), 인스턴스 언어화 편향(IVB), 샘플 불균형 편향(SDB)을 어느 정도 완화하는가?
• RQ4 생물의학 전용 PLM은 사실 지식에 대해 진정으로 이해하고 있는가, 아니면 단순히 입력 맥락에서 복사하고 있는가?
• RQ5 다양한 PLM은 맥락 분산 하에서 어떻게 행동하는가? 이 행동은 관계 유형과 엔티티 빈도에 따라 체계적으로 달라지는가?

주요 결과

• UCM 지표는 모델이 잘못된 또는 대체 엔티티를 선호하는 '오해(Misunderstand)' 행동을 성공적으로 식별하여, 이전의 Top-k 정확도 평가에서 드러나지 않았던 한계를 드러냈다.
• 맥락 분산 프롬프트는 특히 희귀 관계와 대규모-N-M 관계에서 평가의 안정성과 공정성을 크게 향상시켰으며, LAMA와 BioLAMA 간의 성능 격차를 줄였다.
• 제어 실험 결과, 특히 생물의학 전용 모델인 BioBERT와 같은 PLM은 O_t를 부정적 타겟으로 교체했을 때 일관된 순위 변화를 보이며, 단순한 복사 외에 진정한 이해를 보이고 있음을 시사했다.
• UCM 지표는 맥락이 다양할수록 모델이 사실을 더 잘 '이해'할 가능성이 높아지며, 특히 목표 엔티티가 희귀하거나 대규모-N-M 관계에 속할 경우 더욱 두드러진다.
• 다양한 실제 맥락과 표준화된 엔티티 매핑을 통해 PPB, IVB, SDB를 효과적으로 완화함으로써, 다양한 PLM 간의 평가가 더 신뢰성 있고 비교 가능해졌다.
• 12개의 PLM에 대한 실증 결과는 맥락 분산과 UCM이 복잡한 생물의학 시나리오에서 더 견고하고 해석 가능한 지식 탐지에 기여함을 보여주었다.