[논문 리뷰] Dependency Parsing as Head Selection

Xingxing Zhang, Jianpeng Cheng외 1명|arXiv (Cornell University)|2016. 06. 03.

Topic Modeling참고 문헌 52인용 수 5

한 줄 요약

이 논문은 이원형 LSTM 특징을 사용하여 각 단어에 대해 독립적인 헤드 선택 문제로 의존 구문 분석을 프레임화하는 DeNSe라는 신경망 의존 구문 분석기를 제안한다. 학습 중 구조적 제약 조건을 부과하지 않음에도 불구하고, 네 가지 언어(영어, 중국어, 체코어, 독일어)에서 최신 기술 수준의 성능을 달성한다. 간단한 구조임에도 불구하고 DeNSe는 문장의 87–97%에서 유효한 트리를 생성하며, 최대 스파닝 트리 알고리즘인 Chu-Liu-Edmonds 또는 Eisner 알고리즘을 통한 후처리를 통해 경쟁 가능한 UAS 및 LAS 점수를 얻는다.

ABSTRACT

Conventional graph-based dependency parsers guarantee a tree structure both during training and inference. Instead, we formalize dependency parsing as the problem of independently selecting the head of each word in a sentence. Our model which we call extsc{DeNSe} (as shorthand for {\bf De}pendency {\bf N}eural {\bf Se}lection) produces a distribution over possible heads for each word using features obtained from a bidirectional recurrent neural network. Without enforcing structural constraints during training, extsc{DeNSe} generates (at inference time) trees for the overwhelming majority of sentences, while non-tree outputs can be adjusted with a maximum spanning tree algorithm. We evaluate extsc{DeNSe} on four languages (English, Chinese, Czech, and German) with varying degrees of non-projectivity. Despite the simplicity of the approach, our parsers are on par with the state of the art.

연구 동기 및 목표

• 학습 중 복잡한 구조적 제약 조건을 피하는 간단하면서도 효과적인 신경망 의존 구문 분석기를 개발하는 것.
• 학습 과정에서 트리 구조를 강제하지 않고도 신경망 특징을 활용한 독립적인 헤드 선택이 경쟁 가능한 구문 분석 성능을 낼 수 있는지 조사하는 것.
• 다양한 비프로젝티브 정도를 가진 다양한 언어에서 모델의 강건성을 평가하는 것.
• 최대 스파닝 트리 알고리즘을 사용해 비트리 출력을 보정하는 것의 효과성을 평가하는 것.
• 다양한 벤치마크 데이터셋에서 최신 기술 수준의 그래프 기반 및 전이 기반 구문 분석기와의 성능 비교를 수행하는 것.

제안 방법

• DeNSe는 이원형 순환 신경망(LSTM)을 사용해 단어 표현을 인코딩하고 각 단어의 헤드를 독립적으로 예측한다.
• 학습 중 트리 구조를 강제하지 않고, 학습된 특징 기반으로 각 단어에 대한 가능한 헤드의 분포를 출력한다.
• 추론 과정에서 대부분의 문장(87–97%)에 대해 후처리 없이도 의존 트리를 생성한다.
• 비트리 출력은 비프로젝티브 트리의 경우 Chu-Liu-Edmonds 알고리즘, 프로젝티브 트리의 경우 Eisner 알고리즘을 사용해 수정한다.
• 모델은 헤드 선택 점수 기반의 아크 가중치 예측을 사용하는 마진 기반 학습 알고리즘으로 훈련된다.
• 특징 표현은 단어 임베딩과 품사 태그에서 유도되며, 광범위한 수동적 특징 공학 작업이 필요하지 않다.

실험 결과

연구 질문

• RQ1 학습 중 구조적 제약 조건을 강제하지 않고도, 각 단어에 대해 독립적인 헤드 선택으로 의존 구문 분석을 효과적으로 모델링할 수 있는가?
• RQ2 이원형 LSTM 특징 기반의 신경망 모델이 다양한 언어에서 최신 기술 수준의 구문 분석기와 비교해 얼마나 잘 성능을 내는가?
• RQ3 최대 스파닝 트리 알고리즘을 통해 비트리 출력을 얼마나 잘 보정할 수 있으며, 성능 저하 없이 가능한가?
• RQ4 제안된 접근 방식은 비프로젝티브 정도가 다양한 언어 간에 일반화되는가?
• RQ5 정확도와 효율성 측면에서 DeNSe는 고차원 및 복잡한 디코딩 모델과 비교해 어떻게 성능을 내는가?

주요 결과

• DeNSe는 CoNLL 2006 및 PTB 데이터셋에서 최신 기술 수준의 성능을 달성했으며, 영어 테스트 세트에서 89.58% UAS와 89.60% LAS를 기록했다.
• CTB 데이터셋에서는 89.42% UAS와 86.48% LAS를 기록했으며, 이는 이전의 신경망 모델들을 초월하는 성능이다.
• 체코어와 독일어에서는 모든 일차 그래프 기반 구문 분석기보다 뛰어난 성능을 보였으며, 독일어에서는 Turbo-3rd와 동등하거나 슈퍼어리어하고, 체코어에서는 RBG-3rd와 동등하거나 슈퍼어리어한 성능을 기록했다.
• Chu-Liu-Edmonds 알고리즘을 통한 후처리는 평균 0.21% 향상된 성능을 기록했으며, 계산 비용은 극히 낮았다.
• PTB에서는 문장의 95.1%에서 유효한 의존 트리를 생성했고, CTB에서는 87.0%였으며, 이 중 각각 86.6%와 73.1%는 프로젝티브였다.
• 긴 문장에서의 성능도 뛰어나, C&M14와 Dyer15와 같은 이전 모델들을 능가했다.