[논문 리뷰] Incorporating Glosses into Neural Word Sense Disambiguation

Fuli Luo, Tianyu Liu외 3명|arXiv (Cornell University)|2018. 05. 21.

Natural Language Processing Techniques참고 문헌 19인용 수 8

한 줄 요약

이 논문은 문맥 정보와 WordNet의 어휘 설명어록을 통합한 유일한 메모리 네트워크 프레임워크를 갖춘 새로운 신경 단어의미해석모델인 GAS를 제안한다. 원래의 어록에 상위어 및 하위어와 같은 의미 관계를 추가함으로써 GAS는 의미 표현을 향상시키고, 다양한 영어 전어휘 WSD 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 이전의 신경 및 지식 기반 방법보다 최대 2.2% 높은 F1 점수를 기록한다.

ABSTRACT

Word Sense Disambiguation (WSD) aims to identify the correct meaning of polysemous words in the particular context. Lexical resources like WordNet which are proved to be of great help for WSD in the knowledge-based methods. However, previous neural networks for WSD always rely on massive labeled data (context), ignoring lexical resources like glosses (sense definitions). In this paper, we integrate the context and glosses of the target word into a unified framework in order to make full use of both labeled data and lexical knowledge. Therefore, we propose GAS: a gloss-augmented WSD neural network which jointly encodes the context and glosses of the target word. GAS models the semantic relationship between the context and the gloss in an improved memory network framework, which breaks the barriers of the previous supervised methods and knowledge-based methods. We further extend the original gloss of word sense via its semantic relations in WordNet to enrich the gloss information. The experimental results show that our model outperforms the state-of-theart systems on several English all-words WSD datasets.

연구 동기 및 목표

• 신경 WSD 모델이 WordNet 어록과 같은 어휘 지식을 忽略하는 한계를 해결하기 위해.
• 끝에서 끝까지 통합된 프레임워크에서 문맥과 어록을 함께 인코딩함으로써 지도학습과 지식 기반 방법을 통합하기 위해.
• WordNet 내 상위어 및 하위어 관계를 사용하여 원래 어록을 확장함으로써 어록 표현을 향상시키기 위해.
• 개별 단어별 분류기 없이도 전어휘 WSD를 처리할 수 있는 스케일러블하고 파라미터를 공유하는 모델을 개발하기 위해.
• 구조화된 어휘 지식 통합이 문맥 전용 모델을 초월해 신경 WSD 성능을 향상시킨다는 것을 입증하기 위해.

제안 방법

• 목표 단어의 문맥과 어록을 통합된 프레임워크에서 함께 인코딩하는 메모리 네트워크 기반 모델인 GAS를 제안한다.
• 메모리 모듈에서 재읽기 효과를 시뮬레이션하기 위해 다중패assing 메커니즘을 사용한다.
• 두 가지 메모리 업데이트 전략인 연결(concatenation)과 덧셈(addition)을 도입하였으며, 연결 전략이 더 높은 성능을 보였다.
• 어휘의 상위어 및 하위어 어록을 포함하도록 어록 모듈을 계층적으로 확장하여 의미 표현을 풍부하게 한다.
• 더 나은 의미 모델링을 위해 WordNet 의미 계층을 반영한 계층적 메모리 구조를 사용한다.
• 레이블이 부여된 문맥 데이터와 어록 정보를 사용하여 끝에서 끝까지 모델을 훈련시키며, 문맥과 어록 간의 정렬을 위해 주의 메커니즘을 활용한다.

실험 결과

연구 질문

• RQ1 WordNet 어록을 신경 WSD 모델에 통합하면 문맥 전용 모델을 초월해 성능 향상을 이룰 수 있는가?
• RQ2 WordNet 내 상위어 및 하위어 관계를 사용해 어록을 확장하면 더 나은 의미 표현과 의미해석이 가능해지는가?
• RQ3 메모리 네트워크의 다중패assing 주의 메커니즘이 정확한 단어의미 식별 능력에 어떤 영향을 미치는가?
• RQ4 통합된 신경 모델이 전어휘 WSD 벤치마크에서 개별 전문가 기반 지도학습 시스템을 초월할 수 있는가?
• RQ5 문맥-어록 정렬 과정에서 성능과 과적합의 균형을 맞추기 위한 최적의 메모리 패assing 수는 얼마인가?

주요 결과

• GAS는 네 개의 벤치마크 데이터셋을 결합한 결과에서 이전 최고의 신경 WSD 모델보다 최대 2.2% 높은 F1 점수를 기록한다.
• 상위어 및 하위어 어록을 통합한 확장된 버전인 GAS ext는 통합 테스트 세트에서 최신 기술 수준의 F1 점수 70.6을 달성한다.
• GAS ext는 네 개 테스트 세트 중 세 곳(SE3, SE13, SE15)에서 강력한 개별 전문가 기반 베이스라인 IMS+emb를 초월한다.
• 메모리 모듈에서의 다중패assing은 성능 향상에 기여하며, 최적의 성능은 세 번의 패assing에서 달성된다. 그 이상이면 과적합으로 인해 성능이 정체되거나 감소한다.
• 모든 데이터셋에서 연결 기반 메모리 업데이트 전략이 덧셈 기반 전략보다 일관되게 높은 성능을 보였다.
• 어록 확장에 의한 어휘 지식 통합은 특히 희귀하거나 모호한 단어의미에 대해 모델 일반화 능력을 크게 향상시킨다.