[논문 리뷰] Unsupervised Learning of Morphology without Morphemes

Sylvain Neuvel, Sean A. Fulop|arXiv (Cornell University)|2002. 05. 29.

Natural Language Processing Techniques참고 문헌 4인용 수 6

한 줄 요약

이 논문은 형태소를 식별하지 않고 POS 태깅된 어휘집에서 직접 형태적 관계를 학습하는 비지도 계산 모델인 전체 단어 형태소화기(Whole Word Morphologizer, WWM)를 제시한다. 전체 단어 형태소 이론을 사용하여 WWM은 초반에 80%의 정밀도로 새로운 단어 형태를 생성하며, 후행적 어휘 차단 후 92%로 향상된다. 이는 전통적인 형태소 기반 분석에 의존하지 않고도 형태소를 습득하고 생성할 수 있음을 보여준다.

ABSTRACT

The first morphological learner based upon the theory of Whole Word Morphology Ford et al. (1997) is outlined, and preliminary evaluation results are presented. The program, Whole Word Morphologizer, takes a POS-tagged lexicon as input, induces morphological relationships without attempting to discover or identify morphemes, and is then able to generate new words beyond the learning sample. The accuracy (precision) of the generated new words is as high as 80% using the pure Whole Word theory, and 92% after a post-hoc adjustment is added to the routine.

연구 동기 및 목표

• 형태소 식별에 의존하지 않고 데이터에서 직접 형태소를 학습하는 계산 모델을 개발하는 것.
• 전체 단어 기반 형태소 이론이 새로운 단어 형태의 습득과 생성을 둘 다 지원할 수 있음을 보여주는 것.
• 다양한 언어 유형에 일반화되는 전통적인 형태소 기반 계산 형태소학에 대한 대안을 제공하는 것.
• 사전 언어 이론이나 주석 처리된 형태소 경계가 없이도 형태소적 구조의 비지도 학습이 가능함을 보여주는 것.
• 어휘에서 학습된 패턴만을 기반으로 새로운 유효한 단어 형태를 생성할 수 있는 시스템을 구현하는 것.

제안 방법

• 모델은 각 단어를 형태소로 분해하지 않고 전체적으로 처리하는 완전한 어휘 항목으로 간주하는 POS 태깅된 어휘집을 입력으로 사용한다.
• 단어 형태 간의 문자 단위 비교(좌향 또는 우향)를 통해 일관된 패턴을 탐지함으로써 형태소적 관계를 식별한다.
• 어휘 내 단어 형태의 변형에서 규칙성을 탐지함으로써 형태소 전략(예: 복수형, 동사 어형 변화 등)을 유도한다.
• 기존 어휘 항목을 생산적 형태소보다 우선시함으로써 비어 있는 단어를 생성하는 것을 방지하기 위해 후행적 어휘 차단 메커니즘을 적용한다.
• 각 단어는 파라디그마 번호를 할당받으며, 동일한 파라디그마와 카테고리를 가진 기존 단어가 존재하지 않는 경우에만 새로운 단어 형태가 추가된다.
• 현재 형태로 접두사 및 접미사 형태소를 처리할 수 있도록 설계되었으며, 향후 삽입형 및 템플릿 기반 형태소학을 위한 확장 계획이 수립되어 있다.

실험 결과

연구 질문

• RQ1 형태소 식별이나 분할 없이도 계산 모델이 형태소적 관계를 학습할 수 있는가?
• RQ2 POS 태깅된 어휘집에서 전체 단어 패턴만을 사용하여 새로운 유효한 단어 형태를 생성할 수 있는가?
• RQ3 전체 단어 기반 형태소 이론에 기반한 모델이 전통적인 형태소 이론에 의존하지 않고도 높은 정확도로 단어 생성을 달성할 수 있는가?
• RQ4 어휘 차단 기법이 형태소 생성 중 거짓 양성 결과를 줄이는 데 얼마나 효과적인가?
• RQ5 이 접근법이 다양한 형태소 유형을 가진 언어들에 얼마나 일반화될 수 있는가?

주요 결과

• 전체 단어 형태소화기는 순수한 전체 단어 형태소 이론만을 사용하여 새로운 단어 형태를 생성하는 데 80%의 정밀도를 달성한다.
• 후행적 어휘 차단 기법을 적용한 후 시스템의 생성 정확도는 92%로 향상된다.
• 모델은 형태소 분할이나 수동 규칙 입력 없이도 형태소 전략을 성공적으로 학습하고 적용한다.
• 시스템은 형태소 패턴을 학습하는 것 외에도, 단어 간의 파라디그마적 관계를 식별하여 동일한 파라디그마 번호를 할당한다.
• 이 접근법은 형태소를 중간 언어 분석 없이도 형태소 지식을 습득하고 생성에 활용할 수 있음을 보여준다.
• 초기 결과에 따르면, 개선된 정렬 기법을 통해 삽입형 및 템플릿 기반 형태소학과 같은 더 복잡한 형태소 현상까지도 이 모델이 확장 가능할 것으로 보인다.