[논문 리뷰] Joint POS Tagging and Dependency Parsing with Transition-based Neural Networks

Liner Yang, Meishan Zhang외 4명|arXiv (Cornell University)|2017. 04. 25.

Natural Language Processing Techniques참고 문헌 16인용 수 3

한 줄 요약

이 논문은 전이 기반 시스템을 사용하여 품사 태깅과 의존 구문 분석을 동시에 수행하는 공동 신경망 프레임워크를 제안한다. 이 프레임워크는 이동/감소 결정, 품사 태깅, 의존 관계 레이블링을 위한 세 개의 전용 신경 분류기를 포함한다. 이 방법은 전통적 모델에서의 특징 희소성과 불완전성 문제를 극복하기 위해 엔드 투 엔드 학습을 활용함으로써, 여덟 개 언어의 세 개 트리뱅크에서 이전 방법들보다 뚜렷이 뛰어난 성능을 보였다.

ABSTRACT

While part-of-speech (POS) tagging and dependency parsing are observed to be closely related, existing work on joint modeling with manually crafted feature templates suffers from the feature sparsity and incompleteness problems. In this paper, we propose an approach to joint POS tagging and dependency parsing using transition-based neural networks. Three neural network based classifiers are designed to resolve shift/reduce, tagging, and labeling conflicts. Experiments show that our approach significantly outperforms previous methods for joint POS tagging and dependency parsing across a variety of natural languages.

연구 동기 및 목표

• 수작업으로 만든 특징 템플릿의 한계를 해결하기 위해, 이는 전통적 모델에서 특징의 희소성과 불완전성으로 인해 악영향을 받는다.
• 정적 특징 설계 대신 파싱 도중 어휘적 및 문법적 정보가 동적으로 상호작용하도록 하여 공동 성능을 향상시키기 위해 설계한다.
• 품사 태깅과 의존 구문 분석이 신경 분류기를 통해 공동 최적화되는 통합 전이 기반 프레임워크를 설계한다.
• 공동 표현을 통해 파싱이 태깅 결정에 영향을 주도록 하여 오류 전파를 줄이고 태깅 정확도를 향상시킨다.

제안 방법

• 이동, 왼쪽, 오른쪽, 태그 t, 레이블 l의 다섯 가지 동작을 포함하는 전이 기반 파싱 시스템을 확장하여, 품사 태깅과 의존 구문 분석을 동시에 모델링한다.
• 이동/감소 결정, 품사 태깅, 의존 관계 레이블링을 위한 세 개의 별도 신경 분류기를 사용하며, 각각 희소 특징 대신 조밀한 벡터 표현을 사용한다.
• 양방향 LSTM을 사용해 단어 표현을 인코딩하고, 각 분류기 입력에 대해 스택, 버퍼, 태그 이력 등의 문맥적 특징을 연결한다.
• ReLU 활성화 함수를 사용하는 다층 퍼셉트론을 적용하여 입력 표현을 동작 점수로 매핑함으로써 엔드 투 엔드 학습을 가능하게 한다.
• 태깅 및 파싱 구성 요소 간 단어 임베딩과 은닉 상태를 통합하여 상호 감독과 오류 감소를 가능하게 한다.
• 각 단계에서 파싱, 태깅, 레이블링 결정의 최고 점수 조합을 기반으로 동작을 선택하는 공동 디코딩 전략을 통합한다.

실험 결과

연구 질문

• RQ1 전이 기반 신경망이 전통적인 특징 기반 모델보다 공동 품사 태깅과 의존 구문 분석을 더 효과적으로 모델링할 수 있는가?
• RQ2 신경 분류기를 사용한 엔드 투 엔드 학습이 공동 파싱에서 특징 희소성과 불완전성의 영향을 줄이는가?
• RQ3 태깅과 파싱 간의 상호작용은 계단식 또는 독립적 모델링 대비 성능 향상에 어떻게 기여하는가?
• RQ4 공동 프레임워크에서 문법 정보가 태깅에 기여하는 정도와 어휘 정보가 파싱에 기여하는 정도는 각각 어느 정도인가?

주요 결과

• 제안된 방법은 세 개의 트리뱅크와 여덟 개의 자연어에서 공동 품사 태깅과 의존 구문 분석 분야에서 최신 기준 성능을 달성한다.
• 수작업으로 설계된 특징 템플릿에 의존하는 이전의 공동 모델보다 뚜렷이 뛰어나며, 특히 다의어 태깅 케이스 처리에서 유의미한 성능 향상을 보였다.
• 태깅과 파싱 간의 상호작용을 비활성화할 경우 태깅 및 파싱 정확도가 뚜렷이 떨어지며, 공동 학습의 유용성을 확인한다.
• 태깅 정보를 파싱에 제공하는 경우(태깅 → 파싱)는 파싱 정보를 태깅에 제공하는 경우(태깅 ← 파싱)보다 더 큰 성능 향상을 가져오며, 이는 태깅의 국소적 모호성과 파싱의 장거리 의존성 요구 특성 때문이 다.
• 태깅 분류기에서 문법적 특징을 제거해도 모델이 강건하게 유지되는 것으로 나타나, 공유 표현 덕분에 강건성이 확보됨을 시사한다.
• 제거 실험 결과는 공동 아키텍처가 오류 전파를 줄이고 일반화 능력을 향상시킴을 확인하였으며, 특히 자원이 적은 환경에서 두드러진다.