[논문 리뷰] A Long Dependency Aware Deep Architecture for Joint Chinese Word Segmentation and POS Tagging.

Xinchi Chen, Xipeng Qiu외 1명|arXiv (Cornell University)|2016. 11. 16.

Natural Language Processing Techniques인용 수 3

한 줄 요약

이 논문은 중국어 형태소 분석과 품사 태깅을 위해 복합적이고 풀링 및 순환층을 통합한 딥 신경망 아키텍처를 제안한다. 국소적 특징 추출과 먼 거리의 문맥을 모델링하는 순환 구조를 결합함으로써, 다섯 개의 데이터셋에서 창문 기반 접근 방식을 능가하는 성능을 보이며, 장거리 정보 활용 능력 향상으로 인해 향상된 성능을 입증한다.

ABSTRACT

Long-term context is crucial to joint Chinese word segmentation and POS tagging (S&T) task. However, most of machine learning based methods extract features from a window of characters. Due to the limitation of window size, these methods can not exploit the long distance information. In this work, we propose a long dependency aware deep architecture for joint S&T task. Specifically, to simulate the feature templates of traditional discrete feature based models, we use different filters to model the complex compositional features with convolutional and pooling layer, and then utilize long distance dependency information with recurrent layer. Experiment results on five different datasets show the effectiveness of our proposed model.

연구 동기 및 목표

• 창문 기반 특징 추출의 한계를 해결하여 중국어 과학기술 분야에서 장거리 의존성을 포착하는 데 목적이 있다.
• 확장된 문맥에서 복잡한 조합적 특징을 모델링하여 공동 중국어 형태소 분석 및 품사 태깅 성능을 향상시키는 데 목적이 있다.
• 복합적이고 풀링 및 순환층을 사용한 딥 러닝 프레임워크에 전통적인 특징 템플릿 설계 원칙을 통합하는 데 목적이 있다.

제안 방법

• 기존의 이산적 특징 템플릿과 유사한 국소적 조합적 특징을 추출하기 위해 컨볼루션 및 풀링 층을 활용한다.
• 기존 방법의 고정된 창크기 이상의 장거리 의존성을 모델링하기 위해 순환 층을 사용한다.
• 복합적 특징 학습과 순차적 모델링을 결합한 깊이 있는 아키텍처를 설계하여 더 나은 문맥 인식 능력을 확보한다.
• 형태소 분할 및 품사 태깅을 공동 최적화하기 위해 다섯 개의 다양한 중국어 데이터셋에서 엔드 투 엔드 모델을 훈련시킨다.
• 컨볼루션 층의 필터 다양성을 활용하여 문자 시퀀스 내 다양한 문법적 및 형태적 패턴을 포착한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 고정 크기 창을 초월하여 중국어 형태소 분석 및 품사 태깅에서 장거리 의존성을 효과적으로 포착할 수 있는가?
• RQ2 순환 층을 통합함으로써 순수하게 컨볼루션 또는 창 기반 모델에 비해 성능 향상은 어떻게 이루어지는가?
• RQ3 하이브리드 CNN-RNN 아키텍처는 엔드 투 엔드 학습의 이점을 얻으면서도 전통적인 특징 템플릿을 어느 정도 모방할 수 있는가?

주요 결과

• 제안된 모델은 공동 형태소 분할 및 품사 태깅에 대해 다섯 개의 다른 중국어 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 순환 층의 통합은 창 기반 방법이 놓친 장거리 문맥 의존성을 포착함으로써 성능 향상에 상당한 기여를 한다.
• 순수하게 국소적 문맥 창에 의존하는 전통적 접근 방식에 비해 모델이 뛰어난 성능을 보이며, 장거리 모델링의 가치를 입증한다.
• 컨볼루션 층에서의 다수의 필터 사용은 문자 시퀀스 내 복잡한 조합적 특징을 효과적으로 모델링할 수 있음을 보여준다.