[논문 리뷰] A State of the Art of Word Sense Induction: A Way Towards Word Sense Disambiguation for Under-Resourced Languages

Mohammad Nasiruddin|arXiv (Cornell University)|2013. 10. 05.

Natural Language Processing Techniques참고 문헌 68인용 수 33

한 줄 요약

이 논문은 어휘 자원과 표준화된 훈련 데이터가 부족한 저자원 언어에서 단어의 의미 해석(WSD)을 가능하게 하기 위해 단어의 의미 유도(WSI)를 기초적 접근법으로 제안한다. 원시 텍스트에 기반한 분포 의미론과 군집 기법을 활용함으로써, 사전에 정의된 어휘 자원이 없더라도 의미 군집을 식별할 수 있으며, 저자원 언어에 대한 확장 가능한 WSD의 길을 열어준다.

ABSTRACT

Word Sense Disambiguation (WSD), the process of automatically identifying the meaning of a polysemous word in a sentence, is a fundamental task in Natural Language Processing (NLP). Progress in this approach to WSD opens up many promising developments in the field of NLP and its applications. Indeed, improvement over current performance levels could allow us to take a first step towards natural language understanding. Due to the lack of lexical resources it is sometimes difficult to perform WSD for under-resourced languages. This paper is an investigation on how to initiate research in WSD for under-resourced languages by applying Word Sense Induction (WSI) and suggests some interesting topics to focus on.

연구 동기 및 목표

• 표준화된 코퍼스와 어휘 자원이 부족한 상황에서 저자원 언어에서 단어의 의미 해석(WSD)을 수행하는 데 발생하는 과제를 해결한다.
• 저자원 환경에서 단어의 의미 유도(WSI)가 WSD의 전단계로 어떻게 기능할 수 있는지 탐구한다.
• 저자원 NLP 인프라를 갖춘 언어에서 WSD를 발전시키기 위한 핵심 연구 방향과 방법론적 기반을 규명한다.
• 저자원 언어 환경에 적용 가능한 WSI 기법의 최신 동향을 종합적으로 검토한다.
• 비용이 많이 들고 자원이 필요한 언어학적 자원에 의존도를 줄이기 위해 비지도 및 약한 지도 학습 기반 접근법에 초점을 맞춰 향후 저자원 NLP를 위한 WSD 시스템의 기초를 마련한다.

제안 방법

• 대규모 텍스트 코퍼스에서의 공현 패턴을 기반으로 분포 의미론을 활용해 단어를 표현한다.
• 유사한 단어 맥락을 의미 군집으로 묶기 위해 군집 알고리즘(k-means, 계층적 군집 등)을 적용한다.
• 국소적 및 전반적 단어 공현 통계를 기반으로 유도된 맥락 벡터를 사용해 단어의 의미를 표현한다.
• 황금 표준 의미 레이블이 없는 상황에서 비지도 또는 약한 지도 학습을 통해 의미 차이를 유도한다.
• 내재적 및 외재적 평가 지표를 사용해 군집의 일관성과 구분 능력을 평가한다.
• 사전에 정의된 의미 목록이 없더라도 WSI 결과를 후속 WSD 작업의 지식 기반으로 통합한다.

실험 결과

연구 질문

• RQ1 어떻게 어휘 자원과 표준화된 코퍼스가 부족한 저자원 언어에 대해 단어의 의미 유도를 효과적으로 적용할 수 있는가?
• RQ2 저자원 환경에서 의미를 유도하기 위해 가장 적합한 군집 기법과 분포 의미 기법은 무엇인가?
• RQ3 외부 어휘 자원 없이 WSI 결과가 후속 단어의 의미 해석 작업에 얼마나 잘 기여할 수 있는가?
• RQ4 형태소가 풍부하거나 저자원 언어에 WSI를 적용할 때 발생하는 주요 방법론적 과제는 무엇인가?
• RQ5 최종적으로 저자원 언어에서 종단 간(WSD) 단어의 의미 해석을 가능하게 하는 파ipeline에 WSI를 어떻게 통합할 수 있는가?

주요 결과

• 표준화된 훈련 데이터가 없는 상황에서 단어의 의미 유도는 지도 학습 기반 WSD에 대한 데이터 기반 대안이 될 수 있다.
• 분포 의미론적 단어 벡터의 군집화는 사전에 정의된 의미 목록이 없더라도 의미적으로 구분되는 의미를 효과적으로 묶는다.
• WSI의 성능은 군집 수와 벡터 표현의 품질과 같은 하이퍼파라미터에 민감하게 영향을 받는다.
• 비용이 많이 드는 언어학적 자원에 의존도를 줄이기 위해 WSI는 저자원 언어에서 WSD 시스템을 구축하는 기초 단계로 기능할 수 있다.
• 제시된 방법론적 프레임워크는 저자원 NLP 응용 분야에서 확장 가능하고 비지도 기반 WSD 파이프라인 개발을 가능하게 한다.
• 본 연구는 저자원 언어 환경에서 WSD를 발전시키기 위한 핵심 연구 격차와 향후 연구 방향을 규명한다.