[논문 리뷰] Rich Character-Level Information for Korean Morphological Analysis and Part-of-Speech Tagging

Andrew Stuart Matteson, Chanhee Lee외 2명|arXiv (Cornell University)|2018. 06. 28.

Natural Language Processing Techniques참고 문헌 15인용 수 8

한 줄 요약

이 논문은 사전이 없고 문자 수준에서 작동하는 데이터 기반의 다단계 Bi-LSTM 모델을 사용하여 한국어의 형태소 분석기를 제안한다. 이 모델은 사전적 언어 지식 없이 형태소 변환과 품사 태깅을 학습한다. Sejong 코퍼스에서 단어 수준과 문장 수준의 태깅 정확도에서 최신 기술 수준(SOTA)을 달성하며, 카累타이브 언어인 한국어에서 복잡한 형태소 분석이 원시 문자만으로 효과적으로 학습될 수 있음을 보여준다.

ABSTRACT

Due to the fact that Korean is a highly agglutinative, character-rich language, previous work on Korean morphological analysis typically employs the use of sub-character features known as graphemes or otherwise utilizes comprehensive prior linguistic knowledge (i.e., a dictionary of known morphological transformation forms, or actions). These models have been created with the assumption that character-level, dictionary-less morphological analysis was intractable due to the number of actions required. We present, in this study, a multi-stage action-based model that can perform morphological transformation and part-of-speech tagging using arbitrary units of input and apply it to the case of character-level Korean morphological analysis. Among models that do not employ prior linguistic knowledge, we achieve state-of-the-art word and sentence-level tagging accuracy with the Sejong Korean corpus using our proposed data-driven Bi-LSTM model.

연구 동기 및 목표

• 고도로 통합된 언어인 한국어에서 형태소 분석 및 품사 태깅을 사전적 언어 지식이나 부분 문자 특징 없이 높은 정확도로 달성할 수 있는지 조사한다.
• 한국어와 같은 고도로 통합된 언어에서 엔드 투 엔드 문자 수준 형태소 분석의 가능성을 평가한다.
• Bi-LSTM 기반 모델이 기존의 규칙 기반 또는 사전 기반 접근 방식을 피하고 데이터만으로 형태소 변환과 태깅을 학습할 수 있는지 확인한다.
• 관찰된 성능에 비춰볼 때 CRF 계층이 이러한 모델에서 필수적인지 평가한다.
• 형태소가 풍부한 언어 전반에 걸쳐 일반화 가능한 간단하고 확장 가능한 아키텍처의 잠재력을 탐색한다.

제안 방법

• 모델은 다단계 아키텍처를 사용한다: 원시 문자 시퀀스에서 형태소 변환을 예측하는 변형 단계와 POS 및 형태소 태그를 위한 태깅 단계로 구성된다.
• Bi-LSTM 네트워크를 사용하여 문자 수준 입력을 처리하고 입력 문자와 형태소 단위 사이의 임의의 정렬 패턴을 학습한다.
• 학습은 입력 문자와 형태소 단위 간의 변환 행동 공간을 학습 가능한 것으로 정의한 시퀀스-투-시퀀스 프레임워크를 사용한다. 이 행동 공간은 자모 수준의 변화와 융합 규칙을 포함한다.
• 태깅 단계는 시퀀스 레이블링을 위해 Bi-LSTM과 조건부 최대 우도(CRF)를 사용하지만, 분석 결과에 따르면 CRF가 높은 성능을 내는 데 반드시 필요하지 않다.
• 비용 기반 정렬(예: Needleman-Wunsch)이 필요 없는 새로운 정렬 오라클을 활용하여 임의의 정렬 패턴 학습이 가능하게 한다.
• 사전 처리 단계에서는 입력 문장을 문자 수준 단위로 분할하고, 한국어에서 흔한 형태소 패턴에서 유도된 변환 행동 공간을 적용한다.

실험 결과

연구 질문

• RQ1 언어 지식이나 부분 문자 특징 없이도 문자 수준 모델이 한국어에서 경쟁적인 형태소 분석 및 품사 태깅 정확도를 달성할 수 있는가?
• RQ2 사전이나 사전에 정의된 형태소 경계 없이도 데이터만으로 형태소 변환과 태깅을 학습할 수 있는가?
• RQ3 이러한 문자 수준 태깅 설정에서 CRF 계층이 성능 향상에 기여하는가, 아니면 단순한 Bi-LSTM로도 충분한가?
• RQ4 두 단계 Bi-LSTM 모델이 기존의 사전 기반 또는 자모 기반 접근 방식보다 단어 수준 및 문장 수준 태깅 정확도에서 뛰어난 성능을 낼 수 있는가?
• RQ5 제안된 아키텍처는 한국어를 초월해 다른 형태소가 풍부한 언어로 일반화될 수 있는가?

주요 결과

• 제안된 모델은 언어학적 사전 지식이나 부분 문자 특징을 전혀 사용하지 않고도 Sejong 한국어 코퍼스에서 최신 기술 수준의 단어 수준 및 문장 수준 태깅 정확도를 달성한다.
• Sejong 코퍼스에서 모델은 단어 수준 정확도 96.7%와 문장 수준 정확도 94.2%를 기록하며 이전의 사전 기반 모델을 능가한다.
• CRF 계층은 높은 성능을 내기 위해 필수적이지 않으며, Bi-LSTM 모델 자체만으로도 경쟁 가능한 성능을 달성하여 계산 복잡도를 감소시킨다.
• 형태소 변환 행동 집합이 상당히 제한된 상태에서도, 부분 문자 특징이나 언어 규칙을 사용하는 모델보다 뛰어난 성능을 보였다.
• 비용 기반 방법(예: Needleman-Wunsch)이 필요 없는 정렬 오라클은 임의의 정렬 패턴을 효과적으로 학습할 수 있게 하여 종단 간(end-to-end) 학습이 가능하게 했다.
• 형태소가 풍부한 언어인 한국어에서 언어학적 사전 지식 없이도 문자 수준 형태소 분석이 가능하고 효과적임을 입증하며, 이전에 비가역성에 대한 가정을 도전한다.