[논문 리뷰] Can Fine-tuning Pre-trained Models Lead to Perfect NLP? A Study of the Generalizability of Relation Extraction.

Ningyu Zhang, Luoqiu Li외 5명|arXiv (Cornell University)|2020. 09. 14.

Topic Modeling인용 수 10

한 줄 요약

이 연구는 관계 추출에서 미세조정된 BERT의 일반화 한계를 평가하여 랜덤화, 적대적, 반사적 변형 및 선택 및 의미적 편향 하에서의 강건성에 대해 조사한다. 표준 벤치마크에서 뛰어난 성능을 보이지만, BERT는 심각한 일반화 한계를 보이며 향후 모델 개선을 위한 핵심 격차를 드러낸다.

ABSTRACT

Fine-tuning pre-trained models have achieved impressive performance on standard natural language processing benchmarks. However, the resultant model generalizability remains poorly understood. We do not know, for example, how excellent performance can lead to the perfection of generalization models. In this study, we analyze a fine-tuned BERT model from different perspectives using relation extraction. We also characterize the differences in generalization techniques according to our proposed improvements. From empirical experimentation, we find that BERT suffers a bottleneck in terms of robustness by way of randomizations, adversarial and counterfactual tests, and biases (i.e., selection and semantic). These findings highlight opportunities for future improvements. Our open-sourced testbed DiagnoseRE is available in this https URL.

연구 동기 및 목표

• 표준 벤치마크 성능 이외의 관계 추출에서 미세조정된 BERT 모델의 일반화 능력을 평가하기 위해.
• 체계적인 강건성 테스트를 통해 BERT의 일반화에서 발생하는 특정 실패 유형을 특정하기 위해.
• 선택 편향과 의미 편향이 관계 추출에서 모델 신뢰성에 미치는 영향을 규명하기 위해.
• 재현 가능한 모델 일반화 평가를 가능하게 하는 진단 테스트베드 DiagnoseRE를 개발하고 공개하기 위해.

제안 방법

• 표준 관계 추출 데이터셋에서 BERT를 미세조정하여 강력한 기준 성능를 확보한다.
• 입력 변형에 대한 민감도를 평가하기 위해 랜덤화 테스트를 적용한다.
• 목표된 입력 수정에 대한 강건성을 평가하기 위해 적대적 공격을 수행한다.
• 입력 문장을 변경하여 예측의 논리적 일관성을 테스트하기 위해 반사적 테스트를 수행한다.
• 다른 레이블 분포를 가진 데이터 하위집합에서 모델 행동을 평가하여 선택 편향을 분석한다.
• 특정 어휘적 또는 문법적 패턴에 대한 모델 의존도를 조사하여 의미 편향을 탐색한다.

실험 결과

연구 질문

• RQ1 미세조정된 BERT가 관계 추출에서 표준 벤치마크를 초월해 얼마나 잘 일반화하는가?
• RQ2 랜덤화, 적대적, 반사적 변형이 BERT의 예측 일관성에 어떤 영향을 미치는가?
• RQ3 선택 편향과 의미 편향이 BERT의 일반화 성능 저하에 어떤 역할을 하는가?
• RQ4 체계적인 진단 테스트는 사전 학습된 모델에서 일관된 실패 유형을 식별할 수 있는가?

주요 결과

• 미세조정된 BERT는 적대적 및 반사적 변형 하에서 심각한 성능 저하를 보이며, 낮은 강건성을 나타낸다.
• 랜덤화 테스트는 BERT 예측이 미세한 입력 변형에 민감함을 드러내며 일반화 능력이 제한됨을 시사한다.
• 선택 편향은 모델 행동에 심각한 영향을 미치며, 표현 빈도가 낮은 관계 유형에서 성능 저하가 발생한다.
• 의미 편향은 BERT가 문법적 또는 의미적 추론이 아닌 표면적 신호에 의존하게 하여 일반화 능력을 감소시킨다.
• 공명 또는 어색한 표현이 문장 구조를 변화시키면 모델이 일관된 예측을 유지하지 못한다.
• 공개된 DiagnoseRE 테스트베드는 이러한 일반화 실패 평가의 재현 가능성을 보장한다.