[논문 리뷰] Using BERT for Word Sense Disambiguation

Jiaju Du, Fanchao Qi외 1명|arXiv (Cornell University)|2019. 09. 18.

Natural Language Processing Techniques참고 문헌 27인용 수 31

한 줄 요약

이 논문은 BERT의 미세조정을 통해 단어의 의미 해석(Word Sense Disambiguation, WSD)을 제안하며, BERT의 문맥 기반 표현과 어휘 데이터베이스에서 가져온 의미 정의를 통합하여 희귀하거나 미리보지 않은 다의어에 대한 성능을 향상시킨다. 제안된 BERT-def 모델은 표준 영어 All-words WSD 벤치마크에서 최신 기술 수준의 성능을 달성하여 이전 방법 대비 F1 점수를 5.2% 향상시켰다.

ABSTRACT

Word Sense Disambiguation (WSD), which aims to identify the correct sense of a given polyseme, is a long-standing problem in NLP. In this paper, we propose to use BERT to extract better polyseme representations for WSD and explore several ways of combining BERT and the classifier. We also utilize sense definitions to train a unified classifier for all words, which enables the model to disambiguate unseen polysemes. Experiments show that our model achieves the state-of-the-art results on the standard English All-word WSD evaluation.

연구 동기 및 목표

• 자연어처리 분야에서 오랫동안 도전 과제로 남아온 단어의 의미 해석(WSD) 작업에 대해 BERT의 미세조정이 얼마나 효과적인지 탐색한다.
• 희귀하거나 미리보지 않은 다의어에 대해 데이터 부족 문제를 해결하기 위해 어휘 데이터베이스에서 제공하는 의미 정의를 활용한다.
• 의미 정의를 기반으로 한 통합 분류기 학습을 통해 희귀하거나 미리보지 않은 의미에 대한 제로샷 해석을 가능하게 하여 WSD 성능을 향상시킨다.
• 다중 토큰으로 구성된 다의어 토큰에 대응하는 BERT의 은닉 상태를 집계하는 데 사용되는 다양한 전략(평균, 최대, 또는 [CLS]와의 연결)을 비교한다.
• BERT와 같은 강력한 사전학습된 언어 모델 환경에서 외부 지식(의미 정의)의 영향을 평가한다.

제안 방법

• 표준 데이터셋을 사용하여 WSD 작업에 대해 BERT를 미세조정하며, 기존의 특징 공학 기법 대신 문맥 기반 BERT 임베딩을 사용한다.
• 다중 워드피ece 다의어에 대해 BERT의 은닉 상태를 평균 풀링 또는 최대 풀링을 사용하여 고정 크기의 문맥 표현으로 집계한다.
• [CLS] 토큰의 은닉 상태를 다의어 표현과 결합하여 문장의 전반적인 문맥을 포함시킨다.
• 최종 다의어 표현에서 의미 확률을 예측하기 위해 이중층 MLP 분류기를 사용한다.
• 의미 정의를 별도의 BERT 인코더로 인코딩하여 의미 벡터를 생성함으로써 일반화 성능을 향상시키는 방식으로 모델을 개선한다. 이 의미 벡터는 희귀하거나 미리보지 않은 의미에 대한 일반화를 향상시키는 데 사용된다.
• 모든 단어에 대해 의미 정의를 기반으로 통합 분류기를 학습하여, 훈련 중에 볼 수 없었던 다의어에 대해서도 제로샷 해석이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 WSD 작업에 대해 BERT를 미세조정하는 것이 이전 최신 기술 수준의 방법들에 비해 성능 향상에 크게 기여하는가?
• RQ2 어휘 데이터베이스에서 제공하는 의미 정의를 통합하면, 특히 희귀하거나 미리보지 않은 다의어에 대해 일반화 성능이 향상되는가?
• RQ3 BERT의 은닉 상태를 집계하는 방법 중 평균, 최대, 또는 [CLS]와의 연결 중 어느 것이 WSD 성능을 가장 잘 끌어올리는가?
• RQ4 모델은 다양한 품사와 어휘 빈도 수준에서 어떻게 성능을 내는가?
• RQ5 BERT와 같은 강력한 사전학습된 모델을 사용할 때, 외부 지식(의미 정의)의 사용이 여전히 유익한가?

주요 결과

• BERT-def 모델은 전체 영어 All-words WSD 벤치마크에서 최신 기술 수준의 F1 점수 76.3%를 기록하여 이전 최고 성능 모델보다 5.2% 포인트 높은 성능을 달성했다.
• 훈련 데이터에서 빈도가 0인(즉, 미리보지 않은) 단어에 대해 8% 향상된 성능을 보이며, 의미 정의 덕분에 강력한 제로샷 일반화 능력을 입증했다.
• 모든 데이터셋과 품사에서 의미 정의 사용이 F1 점수를 향상시켰으며, 명사와 동사에서 가장 큰 성과를 보였고, 전체 테스트 세트에서 5.2% 향상된 점수를 기록했다.
• 다의어 은닉 상태의 평균 풀링은 최대 풀링과 유사한 성능을 보였지만, [CLS] 벡터와의 연결은 관련이 없는 전반적 문맥 정보를 포함시켜 성능 저하를 초래했다.
• 희귀어에 대해서도 높은 성능 유지가 가능했으며, 이는 문맥 기반 표현과 의미 정의의 조합이 데이터 부족 문제를 완화시킨다는 것을 시사한다.
• 제거 실험 결과, 의미 정의가 희귀 의미에 대해 매우 효과적임을 확인했으며, 어휘 빈도가 증가할수록 성능 향상 폭이 감소함을 확인하여, 이 방법이 데이터 부족 문제를 가장 효과적으로 해결함을 입증했다.