[논문 리뷰] Morphological Analysis as Classification: an Inductive-Learning Approach

Antal van den Bosch, Walter Daelemans외 1명|ArXiv.org|1996. 07. 16.

Natural Language Processing Techniques참고 문헌 16인용 수 31

한 줄 요약

이 논문은 유도 기계 학습을 사용하여 형태소 분석을 분류 작업으로 재구성하며, 어절의 형태소 분할을 경계 분류 문제로 간주한다. 연구는 ib1-ig 알고리즘을 사용한 게으른 학습이 m1에서 1.65%의 오류율을 기록하며 더 빠르고 지식이 적은 전통적인 규칙 기반 시스템에 비해 뛰어난 성능을 보임을 입증한다.

ABSTRACT

Morphological analysis is an important subtask in text-to-speech conversion, hyphenation, and other language engineering tasks. The traditional approach to performing morphological analysis is to combine a morpheme lexicon, sets of (linguistic) rules, and heuristics to find a most probable analysis. In contrast we present an inductive learning approach in which morphological analysis is reformulated as a segmentation task. We report on a number of experiments in which five inductive learning algorithms are applied to three variations of the task of morphological analysis. Results show (i) that the generalisation performance of the algorithms is good, and (ii) that the lazy learning algorithm IB1-IG performs best on all three tasks. We conclude that lazy learning of morphological analysis as a classification task is indeed a viable approach; moreover, it has the strong advantages over the traditional approach of avoiding the knowledge-acquisition bottleneck, being fast and deterministic in learning and processing, and being language-independent.

연구 동기 및 목표

• 수작업으로 작성된 규칙를 데이터 기반 학습으로 대체함으로써 전통적인 형태소 분석에서 지식 확보의 병목 현상을 해결하기 위해.
• 형태소 분할이 유도 학습 알고리즘을 사용하여 분류 작업으로 효과적으로 모델링될 수 있는지 조사하기 위해.
• 다양한 언어적 세분성 수준에서 형태소 분할에 대해 여러 유도 학습 알고리즘의 일반화 성능을 평가하기 위해.
• 자연어 형태학과 같은 노이즈가 많고 복잡한 도메인에서 게으른 학습과 급속 학습 접근 방식의 성능을 비교하기 위해.
• 형태소가 주석 처리된 코퍼스에서 학습함으로써 언어 독립적이고 자동적이며 결정적인 형태소 분석 시스템을 구축할 수 있는지 탐색하기 위해.

제안 방법

• 각 문자 위치를 형태소 경계 또는 특정 유형의 경계로 분류하는 형태소 분할 분류 작업으로 형태소 분석을 재구성한다.
• 각 단어를 형태소로 분할하여 레이블이 부여된 인스턴스를 생성하기 위해 형태소 분석이 완료된 코퍼스를 학습 데이터로 사용한다.
• 학습 알고리즘의 입력으로 사용하기 위해 각 초점 위치를 주변 문자와 형태소적 맥락을 포함한 국소적 맥락 특징으로 표현한다.
• 다섯 가지 유도 학습 알고리즘을 적용한다: ib1-ig(게으른 학습), igtree(급속 결정 트리), C4.5(급속 결정 트리), C4.5-ig(C4.5에 정보 이득 가중치 적용), k-NN(k-최근접 이웃).
• 기억 기반 학습에서 메모리에 저장된 최근접 이웃을 검색하기 위해 특징 가중 거리 기반 유사도 측도를 사용하여 규칙 추상화 없이 분류를 수행한다.
• 세 가지 변형된 분할 작업(m1, m2, m3)에 대해 학습 및 테스트를 수행하며, 언어적 세분성 수준을 증가시켜 어려움의 척도를 평가한다.

실험 결과

연구 질문

• RQ1 형태소 분할이 유도 학습을 사용하여 분류 작업으로 효과적으로 모델링될 수 있는가?
• RQ2 다양한 언어적 세분성 수준에서 형태소 분할에 대해 다양한 유도 학습 알고리즘이 일반화 성능에서 어떻게 비교되는가?
• RQ3 예외와 부분 규칙성 처리 능력이 뛰어난 게으른 학습이 형태소 분석에서 급속 학습을 능가하는가?
• RQ4 학습 알고리즘의 성능이 특징 중요도와 정보 이득 분산에 얼마나 의존하는가?
• RQ5 형태소가 주석 처리된 코퍼스만을 사용하여 언어 독립적이고 자동적이며 결정적인 형태소 분석 시스템을 구축할 수 있는가?

주요 결과

• ib1-ig 게으른 학습 알고리즘이 모든 세 가지 작업에서 최고의 성능을 기록했으며, m1 작업에서 1.65%의 오류율, m2에서 1.97%, m3에서 2.46%를 기록했다.
• 일관되게 뛰어난 일반화 성능를 보였으며, 형태소적으로 복잡한 사전에 없는 단어에 대해서도 강력한 내성성을 보여주었다.
• 정보 이득 분석 결과, 모든 작업에서 초점 위치의 바로 앞에 오는 문자가 가장 중요한 특징으로 나타났다.
• 작업 복잡도가 증가함에 따라 성능이 떨어졌으며(예: m1 → m2 → m3), 더 세분화된 형태소적 구분이 학습의 난이도를 높임을 시사한다.
• ib1-ig와 같은 게으른 학습 방법은 igtree와 C4.5와 같은 급속 학습 방법보다 성능이 뛰어나며, 특히 특징 정보 이득 분산이 낮을 경우 더욱 두드러진다.
• 이 방법은 전통적인 시스템의 지식 확보 병목 현상을 피하고, 빠르고 결정적이며 언어 독립적인 처리를 가능하게 한다.