[논문 리뷰] What is word sense disambiguation good for?

Adam Kilgarriff|arXiv (Cornell University)|1997. 12. 23.

Natural Language Processing Techniques참고 문헌 16인용 수 23

한 줄 요약

이 논문은 자연어처리(NLP)에서 어휘의 의미 해석(WSD)이 보편적으로 필수적이라는 가정을 도전하며, 어휘의 의미가 언어학적으로 근본적인 것이 아니라 사회적으로 구성된 것이라고 주장한다. 연구는 WSD가 기계 번역과 정보 검색 분야에서만 핵심적으로 중요한데, 대부분의 NLP 응용 분야—특히 도메인 특화된 언어 이해 시스템—은 모호성을 내재적으로 해결하는 일관성 검사 및 도메인 모델에 의존하므로, 기존에 상정된 것보다 대규모 WSD가 반드시 필요로 하지 않는다고 결론 내린다.

ABSTRACT

Word sense disambiguation has developed as a sub-area of natural language processing, as if, like parsing, it was a well-defined task which was a pre-requisite to a wide range of language-understanding applications. First, I review earlier work which shows that a set of senses for a word is only ever defined relative to a particular human purpose, and that a view of word senses as part of the linguistic furniture lacks theoretical underpinnings. Then, I investigate whether and how word sense ambiguity is in fact a problem for different varieties of NLP application.

연구 동기 및 목표

• NLP에서 어휘의 의미 해석(WSD)이 보편적으로 요구되는 전처리 과정이라는 가정을 도전하기 위해.
• 어휘의 의미 모호성이 다양한 NLP 응용 유형에서 실제로 심각한 문제인지 조사하기 위해.
• 어휘의 의미가 언어학적으로 근본적인 것이 아니라 사전 편찬 전통과 인간의 목적에 의해 형성된 산물이라는 점을 주장하기 위해.
• WSD가 정보 검색(IR), 기계 번역(MT), 구문 분석, 어휘학, 자연어 이해(NLU) 등의 특정 NLP 응용 분야에 미치는 실제 영향을 평가하기 위해.
• WSD의 유용성은 응용 분야에 따라 달라지며, 도메인 특화 모델이 종종 명시적인 해석 없이도 모호성을 해결할 수 있다는 제안을 하기 위해.

제안 방법

• 사전의 의미가 언어학적으로 필수적인 것이 아니고, 분쟁 해결과 같은 사회적 기능을 수행한다는 점을 역사적·사회학적 기반을 분석하여 보여주기 위해.
• CORPORA 메일링 리스트를 통해 NLP 전문가들을 대상으로 실세계에서의 WSD 영향을 평가하기 위해.
• 다양한 NLP 작업에서 WSD의 역할을 비교하기 위해, 모호성이 성능에 미치는 영향의 정도를 평가하기 위해.
• 의미가 주석 처리된 코퍼스와 WSD 프로그램이 어휘학적 실천에 어떻게 영향을 미칠 수 있는지 검토하기 위해.
• 도메인 모델에서 일관성 검사 및 유형 제약 조건을 사용하여 자연어 이해 시스템에서 암묵적인 의미 해석 메커니즘을 제공하기 위해.
• 어휘 선호도 데이터와 문법적 해석 전략을 조합하여 구문 분석에서의 WSD 성능을 평가하기 위해.

실험 결과

연구 질문

• RQ1 어휘의 의미 해석은 모든 NLP 응용 분야에 필수적인 구성 요소인가, 아니면 그 중요성이 과대평가된 것인가?
• RQ2 정보 검색, 기계 번역, 구문 분석, 어휘학, 자연어 이해 분야에서 어휘의 의미 모호성은 얼마나 심각한 문제인가?
• RQ3 다양한 사전이 서로 다른 어휘의 의미 집합을 정의하는 이유는 무엇이며, 이는 WSD를 계산적 과제로 보는 데 어떤 함의를 갖는가?
• RQ4 도메인 특화 지식 모델이 명시적인 WSD 없이도 어휘의 의미 모호성을 암묵적으로 해결할 수 있는가?
• RQ5 실제로 WSD 시스템과 어휘학적 실천은 어떻게 상호 영향을 미칠 수 있는가?

주요 결과

• 어휘의 의미 해석은 근본적인 언어학 문제라기보다는 사전 편찬 전통과 분쟁 해결 수요에 의해 형성된 사회적 구성물이다.
• 정보 검색 분야에서는 어휘의 의미 모호성이 중간 정도의 문제를 일으키지만, 더 긴 쿼리를 사용함으로써 이 문제를 완화할 수 있어 WSD의 필요성이 줄어든다.
• 기계 번역 분야에서는 双방향 사전에서 1:다 또는 다:다 매핑이 존재하기 때문에 WSD의 과제가 심각하며, 정확도를 높이기 위해 WSD가 필수적이다.
• 구문 분석 분야에서는 어휘의 의미 모호성이 명확하게 성능에 영향을 주지 않으며, 어휘 선호도에 의해 문법적 해석이 종종 해결되기 때문이다. 다만 이는 아직 실험적으로 검증되지 않았다.
• 어휘학자들은 의미가 주석 처리된 코퍼스 덕분에 관련 어휘 사용 예문을 찾는 데 소요되는 수작업 시간을 줄일 수 있다.
• 자연어 이해 시스템은 도메인 모델과 일관성 검사를 통해 대부분의 모호성을 암묵적으로 해결하므로, 실제로 어휘의 의미 모호성이 심각한 문제로 나타나지 않는다.