[논문 리뷰] On Adversarial Examples for Biomedical NLP Tasks

Vladimir Araujo, Andrés Carvallo외 2명|arXiv (Cornell University)|2020. 04. 23.

Topic Modeling참고 문헌 23인용 수 10

한 줄 요약

이 논문은 BERT를 사용하여 생물의학 NLP 작업을 위한 적대적 평가 프레임워크를 제안하며, 철자 오류, 키보드 타이핑 실수, 동의어 교체와 같은 세 가지 공격 유형을 도입하여 NER 및 STS 작업에서 성능 저하가 심각하게 발생함을 입증한다. 또한 이러한 예제를 사용한 적대적 훈련이 원래 작업 정확도를 희생시키지 않은 채 모델의 강건성을 향상시킴을 보여준다.

ABSTRACT

The success of pre-trained word embeddings has motivated its use in tasks in the biomedical domain. The BERT language model has shown remarkable results on standard performance metrics in tasks such as Named Entity Recognition (NER) and Semantic Textual Similarity (STS), which has brought significant progress in the field of NLP. However, it is unclear whether these systems work seemingly well in critical domains, such as legal or medical. For that reason, in this work, we propose an adversarial evaluation scheme on two well-known datasets for medical NER and STS. We propose two types of attacks inspired by natural spelling errors and typos made by humans. We also propose another type of attack that uses synonyms of medical terms. Under these adversarial settings, the accuracy of the models drops significantly, and we quantify the extent of this performance loss. We also show that we can significantly improve the robustness of the models by training them with adversarial examples. We hope our work will motivate the use of adversarial examples to evaluate and develop models with increased robustness for medical tasks.

연구 동기 및 목표

• 예측된 BERT 모델이 명명된 실체 인식(NER) 및 의미적 텍스트 유사도(STS)와 같은 중요한 생물의학 NLP 작업에서 얼마나 강건한지 평가하기 위해.
• 의료 텍스트에서 실제 인간과 유사한 변형, 예를 들어 철자 오류와 타이핑 실수에 노출되었을 때 BERT 모델의 취약점을 규명하기 위해.
• STS 작업에서 동의어 교체 공격가 모델 예측을 어떻게 변화시킬 수 있는지 조사하기 위해, 특히 유사도 점수를 증가시킬 수 있는지 확인하기 위해.
• 생성된 적대적 예제를 사용한 적대적 훈련이 이러한 변형에 대한 모델 강건성을 향상시키는지 평가하기 위해.
• 환자 안전성과 모델 신뢰성을 확보하기 위해 의료 NLP 분야에서 적대적 평가 및 훈련의 광범위한 도입을 촉진하기 위해.

제안 방법

• 세 가지 유형의 적대적 공격를 제안함: (1) 교환 노이즈(예: 'herat vavle'), (2) 키보드 타이핑 실수 노이즈(예: 'hea5t valce'), (3) 동의어 교체(예: 'potassium warfarin' → 'warfarin').
• 이 공격들을 두 가지 벤치마크 데이터셋에 적용함: NER에 대한 BC5CDR 및 STS에 대한 BioSSES로, 적대적 테스트 세트를 생성함.
• 원래 훈련 데이터에 적대적 예제를 추가하여 BERT 모델을 미세조정함으로써 적대적 훈련을 수행함.
• 표준 메트릭을 사용하여 모델 성능을 측정함: NER에 대한 F1 점수 및 STS에 대한 피어슨/스피어만 상관계수를 원래 및 적대적 테스트 세트에서 모두 측정함.
• 다양한 사전 훈련 데이터 제도(예: PubMed 전용 vs. PubMed + MIMIC-III)를 비교하여 어휘의 영향이 강건성에 어떻게 작용하는지 평가함.
• 각 공격 유형이 모델 일반화 및 예측 안정성에 미치는 영향을 분리하기 위해 통제된 평가 프로토콜을 사용함.

실험 결과

연구 질문

• RQ1 생물의학 텍스트에서 철자 오류나 타이핑 실수와 같은 적대적 변형에 대해 BERT 기반 모델은 얼마나 취약한가?
• RQ2 의료 용어에서의 동의어 교체가 STS 작업의 의미적 유사도 예측에 어느 정도 영향을 미치는가?
• RQ3 인간과 유사한 변형을 사용한 적대적 훈련이 표준 벤치마크 성능을 떨어뜨리지 않고도 모델의 강건성을 향상시킬 수 있는가?
• RQ4 사전 훈련 데이터의 선택(예: PubMed 대비 PubMed + MIMIC-III)이 적대적 공격에 대한 모델의 내성에 영향을 미치는가?
• RQ5 왜 일부 동의어 기반 적대적 예제는 원래 테스트 세트보다 STS 상관계수를 더 높게 만들 수 있는가?

주요 결과

• BERT 모델은 적대적 공격를 받을 경우 심각한 성능 저하를 경험함: BC5CDR-Chemical NER에서 F1 점수는 63.8%로 하락하고, 스왑 노이즈 조건에서 STS에서는 52.8%로 떨어짐.
• STS 작업에서 동의어 기반 공격는 원래 테스트 세트(0.829)보다 높은 피어슨 상관계수(0.869)를 기록함으로써, 일부 경우에 적대적 예제가 유사도 점수를 향상시킬 수 있음을 시사함.
• 동의어 및 타이핑 실수 공격를 사용한 적대적 훈련은 강건성을 향상시킴: 스왑 노이즈 조건에서 BC5CDR-Disease NER의 F1 점수는 적대적 미세조정 후 63.8%에서 65.6%로 상승함.
• PubMed 전용으로 사전 훈련된 모델은 PubMed + MIMIC-III로 사전 훈련된 모델보다 더 높은 적대적 강건성을 보였으며, 이는 어휘 확장으로 일반화 능력 향상이 기대되는 것과는 반대된 결과임.
• 적대적 훈련은 원래 테스트 세트에서 높은 성능을 유지함 — 예를 들어 BC5CDR-Chemical NER에서 F1 점수는 0.88 이상 유지됨 — 이는 표준 성능과의 상당한 트레이드오프가 없음을 시사함.
• STS 작업은 동의어 공격에서 일관되지 않은 행동을 보이며, 일부 모델은 원래 세트보다 적대적 세트에서 더 높은 상관계수를 기록함 — 이는 적대적 예제에서 분포 이질성이 발생할 수 있음을 시사함.