[논문 리뷰] Neural Probabilistic Model for Non-projective MST Parsing

Xuezhe Ma, Eduard Hovy|arXiv (Cornell University)|2017. 01. 04.

Natural Language Processing Techniques참고 문헌 53인용 수 23

한 줄 요약

이 논문은 비프로젝션 의존 관계 파싱을 위한 신경 확률 모델을 제안한다. 이 모델은 양방향 LSTM-CNN을 사용해 문맥적 및 문자 수준의 표현 학습을 하고, 로그 선형 구조적 예측 레이어를 통합한다. 키르히호프의 행렬-나무 정리(Matrix-Tree Theorem)를 활용해 분할 함수와 주변 확률을 효율적으로 계산함으로써, 역전파를 통한 엔드 투 엔드 학습이 가능하며, 14개 언어에서 17개의 벤치마크 트리뱅크 중 9개에서 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

In this paper, we propose a probabilistic parsing model, which defines a proper conditional probability distribution over non-projective dependency trees for a given sentence, using neural representations as inputs. The neural network architecture is based on bi-directional LSTM-CNNs which benefits from both word- and character-level representations automatically, by using combination of bidirectional LSTM and CNN. On top of the neural network, we introduce a probabilistic structured layer, defining a conditional log-linear model over non-projective trees. We evaluate our model on 17 different datasets, across 14 different languages. By exploiting Kirchhoff's Matrix-Tree Theorem (Tutte, 1984), the partition functions and marginals can be computed efficiently, leading to a straight-forward end-to-end model training procedure via back-propagation. Our parser achieves state-of-the-art parsing performance on nine datasets.

연구 동기 및 목표

• 비프로젝션 의존 트리에 대한 적절한 조건부 확률 분포를 정의하는 신경 확률 파싱 모델을 개발하기 위해.
• 양방향 LSTM-CNN을 통합하여 단어 수준 및 문자 수준의 표현 학습을 공동으로 수행하기 위해.
• 키르히호프의 행렬-나무 정리를 활용해 효율적인 추론을 수행하며, 음의 로그 우도를 최적화함으로써 엔드 투 엔드 학습을 가능하게 하기 위해.
• 다양한 자원이 부족한 언어와 자원이 풍부한 언어 모두에서 최신 기술 성능을 달성하기 위해.
• 이전 모델들이 마진 기반 목적함수를 사용하거나 구조적 보장을 갖지 못한 채 독립적인 헤드 예측을 수행하는 데서 비롯된 한계를 극복하기 위해.

제안 방법

• 모델은 이중 방향 LSTM-CNN 아키텍처를 사용해 단어 및 문자 수준의 표현을 인코딩하며, CNN은 문자 시퀀스를 처리하고 BLSTM은 문맥적 단어 표현을 캐릭터한다.
• 이중선형 스코어 함수는 학습된 가중치 행렬, 편향 항목 및 연결된 단어 표현을 사용해 헤드 단어와 수정어 사이의 간선 스코어를 계산한다.
• 확률적 구조적 레이어는 모든 유효한 비프로젝션 의존 트리에 대해 조건부 로그 선형 모델을 정의하며, 분할 함수는 키르히호프의 행렬-나무 정리를 통해 계산된다.
• 모델은 음의 로그 우도를 목적함수로 사용해 학습되며, 분할 함수 계산을 포함한 전체 네트워크를 통해 기울기가 역전파된다.
• 추론 시, 최대 스픸 링크 트리(MST) 알고리즘이 학습된 스코어에서 가장 가능성이 높은 의존 트리를 디코딩한다.
• 이 아키텍처는 수작업 특징 없이 엔드 투 엔드 학습을 지원하며, 새로운 언어와 도메인에의 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 신경 확률 모델이 적절한 조건부 확률 분포를 갖는 비프로젝션 의존 트리를 동시에 표현 학습하고 파싱할 수 있는가?
• RQ2 문자 수준의 표현과 문맥적 단어 표현을 통합하면 다양한 언어에서 파싱 정확도가 어떻게 향상되는가?
• RQ3 키르히호프의 행렬-나무 정리를 활용해 효율적인 분할 함수 계산이 가능한 구조적 로그 선형 모델을 사용하면 효과적인 엔드 투 엔드 학습이 가능한가?
• RQ4 제안된 모델은 프로젝션 및 비프로젝션 트리뱅크 모두에서 기존의 신경 및 비신경 파싱 시스템을 초월하는가?
• RQ5 문자 수준의 CNN과 이중 방향 LSTMs를 포함함으로써, 자원이 부족한 언어와 형태가 풍부한 언어에서 성능 향상은 어느 정도 이루어지는가?

주요 결과

• 제안된 모델은 14개 언어에서 17개의 벤치마크 트리뱅크 중 9개에서 최신 기술 성능을 달성하며, 평균적으로 이전 시스템을 크게 능가한다.
• 14개 언어 평균적으로, 모델의 UAS는 이전에 다른 시스템이 각 언어에서 달성한 최고 성능을 초월한다.
• Full 모델(문자 수준 특징 포함)은 14개 언어 중 13개에서 +POS 모델을 능가하며, 문자 수준 모델링의 유용성을 시사한다.
• 불가리아어, 중국어, 체코어, 네덜란드어, 영어, 독일어, 일본어, 스페인어 등 8개 언어에서 UAS 및 LAS 모두 최신 기술 성능을 기록한다.
• 아랍어, 덴마크어, 포르투갈어, 슬로베니아어, 스웨덴어의 경우, 비교된 모든 시스템 중에서 최고의 LAS 스코어를 기록한다.
• 모델은 형태가 풍부한 언어와 자원이 부족한 언어 모두에서 뛰어난 일반화 능력을 보이며, 중국어와 스웨덴어를 포함한 다양한 언어에서 높은 성능을 달성한다.