[논문 리뷰] GlossBERT: BERT for Word Sense Disambiguation with Gloss Knowledge

Luyao Huang, Chi Sun외 2명|arXiv (Cornell University)|2019. 08. 20.

Natural Language Processing Techniques참고 문헌 12인용 수 12

한 줄 요약

이 논문은 WordNet 정의에서 유도된 맥락-의미정의 쌍을 구성하고, 이를 문장 쌍 분류 작업으로서 BERT를 미세조정하는 BERT 기반 모델인 GlossBERT를 제안한다. 이 방법은 여러 영어 전어의 의미 해석 분류 벤치마크에서 최신 기술을 크게 능가하며, 의미정의 지식을 효과적으로 활용해 의미 해석 성능을 향상시키는 데 성공한다.

ABSTRACT

Word Sense Disambiguation (WSD) aims to find the exact sense of an ambiguous word in a particular context. Traditional supervised methods rarely take into consideration the lexical resources like WordNet, which are widely utilized in knowledge-based methods. Recent studies have shown the effectiveness of incorporating gloss (sense definition) into neural networks for WSD. However, compared with traditional word expert supervised methods, they have not achieved much improvement. In this paper, we focus on how to better leverage gloss knowledge in a supervised neural WSD system. We construct context-gloss pairs and propose three BERT-based models for WSD. We fine-tune the pre-trained BERT model on SemCor3.0 training corpus and the experimental results on several English all-words WSD benchmark datasets show that our approach outperforms the state-of-the-art systems.

연구 동기 및 목표

• 감정 분류 모델이 WordNet 의미정의와 같은 어휘 지식을 효과적으로 활용하는 데에 한계가 있다는 점을 해결하기 위해.
• 사전 훈련된 언어 모델인 BERT가 감정 분류 프레임워크 내에서 의미정의 지식을 보다 효과적으로 통합할 수 있는 방법을 탐색하기 위해.
• 각 어근별 별도의 분류기 학습을 방지하면서도 기존의 어근 전문가 및 신경 기반 기준 모델을 능가하는 통합형 엔드 투 엔드 신경망 모델을 개발하기 위해.

제안 방법

• 의미가 다중인 어휘의 맥락과 그 어휘의 가능한 WordNet 의미들 각각의 의미정의(의미정의)를 쌍으로 조합하여 맥락-의미정의 쌍을 구성한다.
• WSD 작업을 문장 쌍 분류 문제로 간주하며, 입력은 [CLS] 맥락 [SEP] 의미정의 [SEP] 토큰 시퀀스로 구성된다.
• 이러한 맥락-의미정의 쌍을 사용하여 SemCor 3.0 훈련 코퍼스에서 사전 훈련된 BERT 모델을 미세조정한다.
• 세 가지 변형을 제안한다: GlossBERT(Token-CLS), GlossBERT(Sent-CLS), GlossBERT(Sent-CLS-WS)로, 입력에서 대상 어휘를 강조하는 방식이 다르다.
• 훈련 데이터에서 후보 의미정의를 정확한 의미와 정렬하기 위해 약한 지도 학습을 사용하여 정렬 정확도를 향상시킨다.
• BERT의 양방향 어텐션과 맥락 기반 표현을 활용하여 맥락과 의미정의 간의 의미 관계를 모델링한다.

실험 결과

연구 질문

• RQ1 원문 문장에 직접 BERT를 미세조정하는 것과 비교해, 맥락-의미정의 쌍에 대해 BERT를 미세조정하는 것이 WSD 성능 향상에 뚜렷한 기여를 하는가?
• RQ2 의미 쌍 분류 설정을 통해 WordNet 의미정의를 통합하는 것과, 의미 간 의미 관계를 사용하는 특징 기반 BERT 접근 방식과의 성능 비교는 어떻게 되는가?
• RQ3 맥락-의미정의 쌍에서 대상 어휘를 강조하는 것이 특히 높은 다의성 경우에서 의미 식별 성능 향상에 기여하는가?
• RQ4 각 어근별 별도의 분류기 학습을 피하는 통합형 신경망 모델이 전통적인 어근 전문가 기반 감정 분류 방법을 능가할 수 있는가?
• RQ5 최신 기술 성능를 달성하는 데 있어 의미정의 지식과 맥락 기반 표현 중 어느 것이 더 중요한 기여를 하는가?

주요 결과

• 약한 지도 학습을 통해 대상 어휘를 강조하는 GlossBERT(Sent-CLS-WS)가 대부분의 벤치마크 데이터셋에서 최고의 성능을 기록하며, 이는 이전의 모든 방법을 능가한다.
• 의미 다의성이 높은 것으로 알려진 SemEval-2007(SE07) 및 SemEval-2013(동사) 데이터셋에서도 최신 기술 성능을 달성한다.
• 간단한 [CLS] 토큰 분류 전략을 사용하는 GlossBERT(Token-CLS)도 이전의 신경 기반 및 감정 분류 기반 기준 모델을 모두 능가하며, 의미정의 통합의 가치를 입증한다.
• 원문 문장에 직접 BERT를 미세조정하는 것보다 맥락-의미정의 쌍에 대해 BERT를 미세조정하는 것이 성능 향상에 뚜렷한 기여를 하며, 의미정의 인식 기반 사전 훈련이 핵심임을 시사한다.
• 유사한 실험 환경에서 최근의 특징 기반 BERT 방법(Vial et al., 2019)보다도 성능이 뛰어나, 미세조정 방식이 특징 기반 적응 방식보다 우월함을 입증한다.
• 수동적인 특징 엔지니어링의 필요성을 줄이고 어근별 전용 분류기 학습이 필요 없어지며, 더 스케일러블하고 통합적인 솔루션을 제공한다.