[논문 리뷰] Language Models and Word Sense Disambiguation: An Overview and Analysis.

Daniel Loureiro, Kiamehr Rezaee외 2명|arXiv (Cornell University)|2020. 08. 26.

Topic Modeling참고 문헌 115인용 수 6

한 줄 요약

이 논문은 BERT의 단어의미해석(Word Sense Disambiguation, WSD) 능력에 대한 종합적인 분석을 제공하며, 단어의미의 맥락에 민감한 의미적 뉘앙스를 포착하는 데서의 성능을 평가한다. BERT는 제한된 훈련 데이터 조건에서도 높은 수준의 의미 차이를 효과적으로 처리하며, 특징 추출이 미세조정보다 의미 편향에 대한 강건성과 자원 효율성 측면에서 뛰어나다는 것을 발견한다.

ABSTRACT

Transformer-based language models have taken many fields in NLP by storm. BERT and its derivatives dominate most of the existing evaluation benchmarks, including those for Word Sense Disambiguation (WSD), thanks to their ability in capturing context-sensitive semantic nuances. However, there is still little knowledge about their capabilities and potential limitations for encoding and recovering word senses. In this article, we provide an in-depth quantitative and qualitative analysis of the celebrated BERT model with respect to lexical ambiguity. One of the main conclusions of our analysis is that BERT performs a decent job in capturing high-level sense distinctions, even when a limited number of examples is available for each word sense. Our analysis also reveals that in some cases language models come close to solving coarse-grained noun disambiguation under ideal conditions in terms of availability of training data and computing resources. However, this scenario rarely occurs in real-world settings and, hence, many practical challenges remain even in the coarse-grained setting. We also perform an in-depth comparison of the two main language model based WSD strategies, i.e., fine-tuning and feature extraction, finding that the latter approach is more robust with respect to sense bias and it can better exploit limited available training data.

연구 동기 및 목표

• Transformer 기반 언어 모델인 BERT가 맥락 내에서 단어의미를 효과적으로 포착하고 복원할 수 있는 정도를 조사하는 것.
• 다양한 데이터 및 자원 조건 하에서 BERT의 굵은 그림과 세밀한 그림 단위의 단어의미해석 성능을 평가하는 것.
• 주로 낮은 데이터 및 편향된 의미 조건에서 효과적인 두 가지 주요 WSD 전략인 미세조정과 특징 추출의 효능을 비교하는 것.
• 이상적인 조건에서 강력한 성능를 보이지만 실제 응용에선 여전히 존재하는 핵심적 제약과 실용적 과제를 규명하는 것.

제안 방법

• 다양한 단어의미해석 작업에서 모호한 단어에 대한 BERT의 맥락적 표현을 정량적 및 정성적으로 분석한다.
• 다양한 양의 훈련 데이터와 계산 자원을 사용한 제어된 설정에서 굵은 그림 명사의의미해석 성능을 평가한다.
• 두 가지 WSD 전략인 하류 WSD 작업에 대해 BERT를 미세조정하는 것과 하류 분류기용 특징으로 맥락적 임베딩을 추출하는 것을 비교한다.
• 불균형한 훈련 데이터 분포 하에서 모델 행동을 분석함으로써 의미 편향에 대한 민감도를 평가한다.
• BERT가 의미 차이를 어떻게 인코딩하는지 이해하기 위해 주의 분석 및 표현 클러스터링을 포함한 정성적 분석을 수행한다.

실험 결과

연구 질문

• RQ1 제한된 예시 수로 BERT가 단어의미해석에서 높은 수준의 의미 차이를 얼마나 효과적으로 포착할 수 있는가?
• RQ2 풍부한 데이터와 자원 조건이 확보된 이상적인 조건에서 BERT는 굵은 그림 명사의의미해석에 얼마나 잘 성능을 내는가?
• RQ3 낮은 데이터 및 편향된 의미 조건에서 미세조정과 특징 추출의 상대적 강점과 약점을 무엇인가?
• RQ4 이상적인 설정에서 강력한 성능를 보이지만 실제 응용에서는 여전히 존재하는 실용적 제약은 무엇인가?

주요 결과

• BERT는 각 단어의미당 제한된 예시 수가 존재하는 조건에서도 높은 수준의 의미 차이를 효과적으로 포착한다.
• 풍부한 데이터와 자원이 확보된 이상적인 조건에서는 BERT가 굵은 그림 명사의의미해석 작업을 거의 완벽하게 해결할 수 있다.
• 그러나 이러한 이상적인 조건는 실생활에서 드물며, 굵은 그림 설정에서도 많은 실제 문제들이 남아 있다.
• 특징 추출은 의미 편향에 대한 강건성과 제한된 훈련 데이터의 효율적 활용 측면에서 미세조정보다 더 우수하다.