[논문 리뷰] Unsupervised Discovery of Morphemes

Mathias Creutz, Krista Lagus|ArXiv.org|2002. 05. 21.

Algorithms and Data Compression참고 문헌 10인용 수 23

한 줄 요약

이 논문은 사전 언어학적 지식 없이 어절을 형태소 유사 단위로 분할하는 두 가지 비지도 학습 방법—Recursive MDL 및 Sequential ML—을 제안한다. 최소 기술 길이(MDL) 및 최대 우도(ML) 원리를 사용하여, 특히 피노어어와 같이 축약형이 풍부한 언어에서 형태구조를 고정밀도로 발견할 수 있으며, Recursive MDL 방법은 피노어어 코퍼스에서 최신 기술 수준의 시스템을 초월한다.

ABSTRACT

We present two methods for unsupervised segmentation of words into morpheme-like units. The model utilized is especially suited for languages with a rich morphology, such as Finnish. The first method is based on the Minimum Description Length (MDL) principle and works online. In the second method, Maximum Likelihood (ML) optimization is used. The quality of the segmentations is measured using an evaluation method that compares the segmentations produced to an existing morphological analysis. Experiments on both Finnish and English corpora show that the presented methods perform well compared to a current state-of-the-art system.

연구 동기 및 목표

• 사전 언어학적 태그 없이 원시 텍스트에서 형태소를 비지도 학습 방법으로 발견하는 것을 목적으로 한다.
• 형태소가 매우 복잡한 언어, 예를 들어 어형이 수천 개에 이르는 피노어어와 같은 언어에서의 형태소 복잡성 문제를 해결하는 것.
• 전체 어형이 아닌 형태소를 기본 단위로 사용함으로써 통계적 언어 모델링 및 NLP 응용을 향상시키는 것.
• 인간이 태깅한 코퍼스를 사용하여 기존 형태소 분석기와 비교해 비지도 분할 방법의 성능을 평가하는 것.
• MDL 또는 ML을 통한 모델 최적화가 다양한 언어에서 더 높은 분할 정확도와 강건성(robustness)을 제공하는지 탐색하는 것.

제안 방법

• Recursive MDL 방법은 최소 기술 길이 원리를 사용해 어절을 형태소 유사 단위로 반복적으로 분할하며, 코퍼스와 모델의 총 기술 길이를 최소화한다.
• Sequential ML 방법은 비터비 분할과 반복적 개선을 적용한 최대 우도 최적화를 사용하며, 모델 복잡성과 균형을 이루기 위해 페널티 항을 포함한다.
• 두 방법 모두 비지도 방식으로 작동하여, 태깅되지 않은 코퍼스 내의 어휘 공존 및 분포 패턴만을 기반으로 형태소 경계를 학습한다.
• 모델은 대규모 피노어어 및 영어 어절 코퍼스에서 훈련되며, 예측된 경계를 기준으로 황금 표준 형태소 분석과 비교하여 분할 품질을 평가한다.
• 1,000개의 피노어어 어절 토큰에 대한 시각적 점검을 통해 분할 결과를 정확, 불완전, 오류로 분류하여 인간 검증 기반 정확도 추정치를 확보하였다.
• Recursive MDL 방법은 재귀적 분할 전략을 사용하는 반면, Sequential ML 방법은 이전 라운드에 거부 기준을 적용한 전진-후진식 최적화를 사용한다.

실험 결과

연구 질문

• RQ1 형태소가 풍부한 언어, 예를 들어 피노어어처럼 사전 언어학적 지식 없이도 비지도 학습 방법이 형태소 경계를 효과적으로 발견할 수 있는가?
• RQ2 MDL 기반 및 ML 기반 최적화 전략은 다양한 언어에서 분할 정확도와 강건성 측면에서 어떻게 비교되는가?
• RQ3 제안된 방법은 피노어어 및 영어 코퍼스에서 기존 최신 기술 수준의 시스템을 얼마나 뛰어넘는가?
• RQ4 어떤 방법은 과도한 분할을 일으키거나 일반 어형을 분할하지 못하는 이유는 무엇이며, 이러한 오류는 후속 NLP 응용에 어떤 영향을 미치는가?
• RQ5 특히 계층적 또는 비선형 접두어/접미어 패턴을 가진 언어에서 형태소 복잡성을 다루는 데에 모델 구조가 어떤 역할을 하는가?

주요 결과

• Recursive MDL 방법은 피노어어 어절 토큰 2,500개의 샘플에서 49.6%의 정확한 분할을 달성하여, Sequential ML(47.3%) 및 Linguistica(43.1%) 방법을 모두 뛰어넘었다.
• Recursive MDL 방법은 매우 흔한 어형은 분할하지 않지만, 희귀어형은 과도하게 분할하는 경향을 보이며, 빈도 분포 처리에서의 상충 관계를 보였다.
• Sequential ML 방법은 Recursive MDL(20.6%)보다 오류 분할 비율이 높은 편(37.4%)을 보이며, 공통 어형 처리는 더 잘하지만 경계 탐지 능력이 떨어지는 것으로 나타났다.
• Linguistica는 분할을 보수적으로 다루었지만, 많은 공통 어형에서 잘못된 분할을 하였으며, 평가에서 32.8%의 분할이 오류로 분류되었다.
• Recursive MDL 방법은 복잡한 피노어어 복합어인 eläintarha 및 eläinmuseo와 같은 어형에 대해 완전하고 정확한 분할을 제공하였다.
• MDL 기반 접근법은 ML 기반 최적화보다 일관되게 뛰어난 성능을 보였지만, 실험 결과로는 비용 함수 또는 분할 전략 중 어떤 요인이 더 큰 영향을 미쳤는지는 명확하지 않다.