[논문 리뷰] Sentence segmentation for classical Chinese based on LSTM with radical embedding

Xu Han, Hongsu Wang외 3명|arXiv (Cornell University)|2019. 04. 30.

Natural Language Processing Techniques참고 문헌 9인용 수 5

한 줄 요약

이 논문은 고전 중국어 텍스트의 문장 분할을 위한 새로운 LSTM-CRF 모델을 제안한다. 이 모델은 문자 수준의 추상적 특징(라디칼 임베딩)을 통합하여 성능을 향상시켰으며, 특히 Tang 시대의 묘비문에서 뛰어난 성능을 보였다. 다양한 문체를 가진 3개의 왕조에서 온 150권의 고전 중국어 책으로 구성된 다각도적인 데이터셋에서 이전의 방법들을 능가하는 정확도를 달성하였다.

ABSTRACT

In this paper, we develop a low than character feature embedding called radical embedding, and apply it on LSTM model for sentence segmentation of pre modern Chinese texts. The datasets includes over 150 classical Chinese books from 3 different dynasties and contains different literary styles. LSTM CRF model is a state of art method for the sequence labeling problem. Our new model adds a component of radical embedding, which leads to improved performances. Experimental results based on the aforementioned Chinese books demonstrates a better accuracy than earlier methods on sentence segmentation, especial in Tang Epitaph texts.

연구 동기 및 목표

• 다양한 문학적 문체를 가진 고전 중국어 텍스트에서의 문장 분할 과제를 해결하기 위해.
• 자연어 처리 작업을 위한 저수준 문자 표현으로서 라디칼 수준의 특징의 효과성을 탐색하기 위해.
• 시퀀스 레이블링 프레임워크에 라디칼 임베딩을 통합하여 분할 정확도를 향상시키기 위해.
• 세 개의 중국 왕조를 아우르는 다양한 대규모 데이터셋에서 모델을 평가하기 위해.

제안 방법

• 중국어 문자의 형태구조를 반영하는 문자 수준의 특징 표현 방식인 라디칼 임베딩을 제안한다.
• LSTM-CRF 모델의 입력 특징으로 라디칼 임베딩을 통합하여 시퀀스 레이블링을 수행한다.
• Tang, Song, Yuan 왕조에서 온 150권 이상의 고전 중국어 책으로 구성된 데이터셋을 사용한다.
• 시퀀스 레이블링 분야에서 최신 기술로 평가받는 LSTM-CRF 아키텍처를 라디칼 특징으로 강화하여 적용한다.
• 문장 분할 작업을 종합적으로 학습하며, 라디칼에서 유도된 문맥적 및 구조적 정보를 활용한다.
• CRF 레이어를 통해 토큰 간 레이블 간 의존성을 모델링하는 공동 학습 방식을 사용한다.

실험 결과

연구 질문

• RQ1 기존의 표준 문자 수준 임베딩과 비교해 볼 때, 라디칼 임베딩이 고전 중국어 텍스트의 문장 분할 성능을 향상시킬 수 있는가?
• RQ2 제안된 모델은 고전 중국어의 다양한 문체와 왕조 시대에 걸쳐 어떻게 성능을 발휘하는가?
• RQ3 라디칼 수준의 특징 통합은 난이도가 높은 사례, 예를 들어 Tang 시대 묘비문의 분할 능력을 향상시키는가?
• RQ4 대규모이고 다양한 고전 중국어 텍스트 데이터셋에서 기존 방법들에 비해 모델은 어느 정도 뛰어난 성능을 보이는가?

주요 결과

• 제안된 모델은 고전 중국어 텍스트의 문장 분할에서 이전의 방법들보다 더 높은 정확도를 달성한다.
• 특히 복잡한 문법과 철자 체계로 유명한 Tang 시대 묘비문 텍스트에서 뛰어난 성능을 보인다.
• 라디칼 임베딩은 의미 있는 언어학적 정보를 제공하여, 문장 경계를 구분하는 모델의 능력을 향상시킨다.
• LSTM-CRF 프레임워크에 라디칼 특징을 통합함으로써 데이터셋 전반에서 측정 가능한 성능 향상이 이루어진다.