[논문 리뷰] Neural Word Segmentation Learning for Chinese

Deng Cai, Hai Zhao|arXiv (Cornell University)|2016. 06. 14.

Natural Language Processing Techniques참고 문헌 46인용 수 32

한 줄 요약

이 논문은 문자 수준의 표현과 LSTM 기반 점수 모델을 사용하여 고정된 컨텍스트 윈도우를 제거하고 분할 역사(분할 이력)를 직접 모델링하는 새로운 신경 프레임워크를 제안한다. 수작업 특징을 사용하지 않고도 엔드 투 엔드 학습을 통해 단어 표현과 문장 수준의 일관성을 동시에 학습함으로써 벤치마크 데이터셋에서 최신 기술 수준 또는 경쟁 가능한 성능을 달성한다.

ABSTRACT

Most previous approaches to Chinese word segmentation formalize this problem as a character-based sequence labeling task where only contextual information within fixed sized local windows and simple interactions between adjacent tags can be captured. In this paper, we propose a novel neural framework which thoroughly eliminates context windows and can utilize complete segmentation history. Our model employs a gated combination neural network over characters to produce distributed representations of word candidates, which are then given to a long short-term memory (LSTM) language scoring model. Experiments on the benchmark datasets show that without the help of feature engineering as most existing approaches, our models achieve competitive or better performances with previous state-of-the-art methods.

연구 동기 및 목표

• 기존의 순서 레이블링 접근 방식에서 고정된 크기의 컨텍스트 윈도우와 불완전한 태깅 이력의 한계를 해결하기 위해.
• 문자 시퀀스에서 직접 분산 표현을 학습하여 수작업 특징에 의존하지 않도록 하기 위해.
• 전체 분할 이력과 문장 일관성을 평가하는 직접적인 구조적 학습 과제로 어절 분할을 공식화하기 위해.
• 문자 수준의 표현과 LSTM 기반 문장 점수 모델을 통해 단어 가능성 확률을 모델링하여 분할 정확도를 향상시키기 위해.

제안 방법

• 모델은 각 후보 어절에 대해 문자 임베딩에 게이트 조합 네트워크를 적용하여 분산된 단어 표현을 생성한다.
• 이전에 분할된 단어의 이력을 인코딩하기 위해 LSTM 네트워크를 사용하여 장거리 의존성과 문장 수준의 일관성을 포착한다.
• 점수 함수는 전체 분할 이력 조건 하에 개별 어절 후보의 점수를 합산하여 분할된 문장의 가능도를 평가한다.
• 로컬 컨텍스트 윈도우에 의존하지 않고 동적 프로그래밍을 통해 최고 점수를 얻는 분할 시퀀스를 찾는 디코딩을 수행한다.
• 단어 표현은 사전 학습된 문자 임베딩을 사용하여 초기화되어, 자원이 적거나 희귀어에 대해서도 성능을 향상시킨다.
• 전체 시스템은 확률적 경사 하강법를 사용하여 엔드 투 엔드로 학습되며, 분할 작업의 F1 점수 최적화를 목표로 한다.

실험 결과

연구 질문

• RQ1 중국어 어절 분할을 위한 신경 모델이 수작업 특징이나 고정된 컨텍스트 윈도우에 의존하지 않고도 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 전체 분할 이력을 모델링할 경우, 이전 태그만을 고려하는 표준 순서 레이블링 방식에 비해 성능 향상은 어느 정도 이루어지는가?
• RQ3 문자 임베딩에서 파생된 단어 수준의 표현이 분할 정확도 향상에 어느 정도 기여하는가?
• RQ4 단어 후보와 문장 일관성을 동시에 모델링하는 엔드 투 엔드 학습 프레임워크가 이전 최신 기술 수준의 시스템을 초월할 수 있는가?

주요 결과

• 제안된 모델은 수작업 특징을 사용하지 않고도 PKU 데이터셋에서 최신 기술 수준의 F1 점수를 달성하며, 이전의 신경망 기반 방법들을 능가한다.
• MSR 데이터셋에서는 경쟁 가능한 성능을 기록하였으며, 디코딩 시 최대 6자까지의 단어를 允許할 경우 F1 점수 0.3%p 향상되었다.
• 디코딩 시 최대 어절 길이를 늘릴수록 성능 향상이 관찰되어, 더 긴 어절을 포착함으로써 분할 정확도 향상이 가능함을 시사한다.
• 프레임워크는 계산적으로 효율적이며, 단일 CPU에서 50 에포크로 약 2일간 학습하고 RAM이 800MB 미만으로 소모된다.
• 사전 학습된 문자 임베딩의 사용은 성능 향상에 기여하여, 자원이 적은 환경에서 전이 학습의 가치를 입증한다.
• 제거 분석 결과, 완전한 이력 모델링을 포함한 전체 모델이 제한된 컨텍스트 또는 이력 인코딩이 없는 변형보다 유의미하게 뛰어난 성능을 보였다.