[논문 리뷰] A Comparative Study of Lexical Substitution Approaches based on Neural Language Models

Nikolay Arefyev, Boris Sheludko외 2명|arXiv (Cornell University)|2020. 05. 29.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 BERT, ELMo, XLNet 및 context2vec와 같은 최신 신경망 언어 모델과 마스크된 언어 모델에 대한 대규모 비교 분석을 제시한다. 이는 어휘 치환 작업에 적용된다. 연구 결과, 대상 단어 정보를 통합함으로써 성능 향상이 뚜렷하게 이루어지며, 모델 선택이 생성하는 의미 관계(예: 동의어, 공하위어 등)에 영향을 미친다는 점을 규명한다. 이는 어휘의 의미 유도 및 데이터 증강과 같은 NLP 응용 분야에 실질적인 지침을 제공한다.

ABSTRACT

Lexical substitution in context is an extremely powerful technology that can be used as a backbone of various NLP applications, such as word sense induction, lexical relation extraction, data augmentation, etc. In this paper, we present a large-scale comparative study of popular neural language and masked language models (LMs and MLMs), such as context2vec, ELMo, BERT, XLNet, applied to the task of lexical substitution. We show that already competitive results achieved by SOTA LMs/MLMs can be further improved if information about the target word is injected properly, and compare several target injection methods. In addition, we provide analysis of the types of semantic relations between the target and substitutes generated by different models providing insights into what kind of words are really generated or given by annotators as substitutes.

연구 동기 및 목표

• 내재된 벤치마크를 사용하여 현대 신경망 언어 모델(BERT, ELMo, XLNet, context2vec)의 어휘 치환 성능을 평가하고 비교하는 것.
• 다양한 신경망 언어 모델이 대상 단어와 대체어 사이에 생성하는 의미 관계(예: 동의어, 공하위어 등)의 특성과 인간 평가자와의 비교를 조사하는 것.
• 모델 입력에 대상 단어 정보를 통합함으로써 치환 품질과 의미 관계 분포에 미치는 영향을 분석하는 것.
• 어휘 치환 모델이 어휘의 의미 유도 및 텍스트 데이터 증강과 같은 외재적 과제에서 얼마나 유용한지 평가하는 것.
• 하류 NLP 응용 분야에서 원하는 의미 관계 유형에 따라 적절한 모델 선택을 위한 실용적 지침을 제공하는 것.

제안 방법

• 마스크된 언어 모델링과 문맥 기반 임베딩을 사용하여 BERT, ELMo, XLNet 및 context2vec 모델을 어휘 치환 작업에 맞게 미세조정하는 것.
• 대상 단어 정보 통합 기법을 적용하여, 대상 단어를 대체어로 치환하고 문맥 표현 간 유사도 측정을 수행하는 것.
• 원본 문장과 대체어로 치환된 문장의 문맥 기반 임베딩 간 코사인 유사도를 사용하여 후보 대체어를 순위 매기는 것.
• 모델 출력과 사전 학습된 단어 임베딩(예: word2vec)을 조합하여 의미 관련성 향상과 OOV(Out-of-Vocabulary) 오류 감소를 도모하는 것.
• 해석 가능성 향상을 위해 상호작용식 모델 선택 및 입력 처리를 위한 그래픽 사용자 인터페이스를 개발하는 것.
• 생성된 대체어를 WordNet의 동의어 집합(synsets)에 매핑하여 의미 관계 유형(동의어, 상위어, 공하위어 등)을 분류하고 분포 패턴을 분석하는 것.

실험 결과

연구 질문

• RQ1 BERT, ELMo, XLNet 및 context2vec는 내재된 어휘 치환 벤치마크에서 어떻게 성능을 비교할 수 있는가?
• RQ2 다양한 신경망 언어 모델이 대상 단어와 대체어 사이에 생성하는 의미 관계 유형(예: 동의어, 공하위어, 상위어 등)은 무엇인가?
• RQ3 대상 단어 정보를 모델 입력에 통합함으로써 치환 결과의 품질과 의미 일관성은 어떻게 영향을 받는가?
• RQ4 어휘 치환 모델이 어휘의 의미 유도 및 데이터 증강과 같은 외재적 과제에서 성능 향상에 얼마나 기여할 수 있는가?
• RQ5 인간 평가자가 생성한 대체어와 모델이 생성한 대체어는 의미 관계 유형과 정확도 측면에서 어떻게 비교될 수 있는가?

주요 결과

• XLNet은 BERT 및 기타 모델보다 어휘 치환 벤치마크에서 뛰어난 성능을 보였으며, 특히 단어 임베딩과 조합할 경우 더욱 두드러졌다.
• 대상 단어 정보를 통합함으로써 치환 품질이 뚜렷이 향상되었으며, OOV 오류 감소와 의미 일관성 향상이 이루어졌다.
• BERT와 XLNet는 단어 임베딩과 조합할 경우 인간 평가자 기준 골드 표준과 유사한 비율의 동의어와 공하위어를 생성하였다.
• 대상 단어 정보를 통합하지 않은 모델들(예: context2vec, ELMo)은 OOV 대체어 비율이 유의미하게 높고, 의미 있는 의미 관계도 적게 생성하였다.
• 모델 출력과 단어 임베딩을 조합함으로써 직접적인 동의어와 공하위어 비율이 증가하였고, 이행적 관계와 OOV 오류는 감소하였다.
• 인간 평가자들은 대체어의 품사 태깅에 오류를 범하였으며(형용사의 경우 15%,副사의 경우 25%), 이는 의미 관계 분류에 영향을 미쳐 의미 일관성 유지를 위한 과제의 난이도를 드러냈다.