[논문 리뷰] BERT-based Acronym Disambiguation with Multiple Training Strategies

Chunguang Pan, Bingyan Song외 2명|arXiv (Cornell University)|2021. 02. 25.

Natural Language Processing Techniques참고 문헌 27인용 수 8

한 줄 요약

이 논문은 과학적 텍스트에서 약어의 의미를 해독하기 위한 BERT 기반 이진 분류 모델을 제안하며, 동적 음성 샘플 선택, 작업 적응형 미사전학습, 적대적 훈련, 그리고 가짜 레이블링을 통합한다. 이 모델은 SciAD 데이터셋에서 최신 기술 성능을 달성하여 SDU@AAAI-21 공동 과제에서 F1 스코어 0.9405로 1등을 기록했으며, 인간 수준의 성능에 매우 가까운 결과를 보였다.

ABSTRACT

Acronym disambiguation (AD) task aims to find the correct expansions of an ambiguous ancronym in a given sentence. Although it is convenient to use acronyms, sometimes they could be difficult to understand. Identifying the appropriate expansions of an acronym is a practical task in natural language processing. Since few works have been done for AD in scientific field, we propose a binary classification model incorporating BERT and several training strategies including dynamic negative sample selection, task adaptive pretraining, adversarial training and pseudo labeling in this paper. Experiments on SciAD show the effectiveness of our proposed model and our score ranks 1st in SDU@AAAI-21 shared task 2: Acronym Disambiguation.

연구 동기 및 목표

• 약어가 맥락에 따라 다양한 확장 방식을 가질 수 있는 과학 문헌에서의 약어 의미 해독 문제를 해결하기 위해.
• BERT와 다양한 훈련 전략을 활용하여 SciAD 벤치마크에서 성능을 향상시키기 위해.
• 맥락 인식 표현 학습과 데이터 증강 기법을 통해 약어 확장 예측의 모호성을 줄이기 위해.
• 과학적 텍스트에서 인간 수준의 의미 해독 성능에 근접한 높은 성능을 달성하기 위해.

제안 방법

• 약어 의미 해독 데이터셋에서 작업 적응형 미사전학습을 통해 SciBERT를 피지테이닝하여, 최종 작업 표현과 더 잘 일치하도록 한다.
• 어려운 음성 확장 표현에 집중하기 위해, 하드한 음성 샘플 선택 기법을 적용하여 모델의 일반화 능력을 향상시킨다.
• 기울기 기반 노이즈를 사용해 단어 임베딩을 변형함으로써 적대적 훈련을 도입하여 모델의 강건성을 향상시킨다.
• 미라벨된 데이터에 대해 고신뢰도 예측을 생성함으로써 가짜 레이블링을 활용하여, 실제 훈련 데이터 크기를 늘린다.
• BERT가 문장의 맥락을 인코딩하는 데 사용되며, 이진 분류 헤드를 통해 후보 확장 목록에서 정확한 확장을 예측한다.
• 모든 전략을 하나의 훈련 파이프라인에 통합하여 의미 해독 정확도를 공동 최적화한다.

실험 결과

연구 질문

• RQ1 작업 특화 미세조정을 적용한 BERT 기반 모델이 기존 규칙 기반 및 미사전학습된 딥 러닝 방법보다 약어 의미 해독에서 뛰어난 성능을 낼 수 있는가?
• RQ2 적대적 훈련과 가짜 레이블링은 자원이 제한된 약어 의미 해독 과제에서 일반화 능력을 얼마나 향상시키는가?
• RQ3 동적 음성 샘플 선택은 모호한 약어 인스턴스에 대해 모델 수렴과 성능 향상에 기여하는가?
• RQ4 작업 적응형 미사전학습은 일반 미사전학습과 과학적 약어 의미 해독 간의 도메인 갭을 어느 정도 줄일 수 있는가?
• RQ5 신경망 모델은 과학적 약어 의미 해독에서 인간 수준의 성능에 얼마나 가까이 다가설 수 있는가?

주요 결과

• 제안된 모델은 테스트 세트에서 F1 스코어 0.9405를 기록하여 기준 모델(F1: 0.8190)과 모든 경쟁 모델을 크게 앞서는 성능을 보였다.
• SDU@AAAI-2021 공동 과제에서 1등을 차지했으며, 2등 모델보다 F1 스코어 0.32% 높은 성능을 기록했다.
• 테스트 세트에서 인간의 성능은 F1: 0.9610으로 나타나, 모델은 인간 수준의 성능에 2.05%p 내에서 근접해 있음을 시사한다.
• 적대적 훈련은 훈련 시간을 약 100% 증가시켰지만, 추론 시간은 약 150초/에포크로 유지되었다.
• 오류 분석 결과, 모델의 실패 원인은 주로 의미적으로 유사한 확장 방식(예: 단수형 대 복수형)과 맥락이 부족한 문장에서 발생했다.
• 모델는 강력한 일반화 능력을 보였으며, 단지 다섯 번의 훈련 에포크 후에 수렴이 관찰되었다.