[논문 리뷰] Stack-Pointer Networks for Dependency Parsing

Xuezhe Ma, Zecong Hu외 4명|arXiv (Cornell University)|2018. 05. 03.

Natural Language Processing Techniques인용 수 8

한 줄 요약

이 논문은 스택 기반의 전이 기반 신경망 의존성 파서인 스택포인터 네트워크(StackPtr)를 제안한다. 이는 포인터 네트워크와 내부 스택을 결합하여 상향식, 깊이 우선 탐색을 수행한다. 전역 문장 맥락과 하위트리 이력 정보를 활용하면서도 선형 시간 복잡도를 유지함으로써, 20개의 언어에서 29개의 트리뱅크 중 21개에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We introduce a novel architecture for dependency parsing: \emph{stack-pointer networks} ( extbf{ extsc{StackPtr}}). Combining pointer networks~\citep{vinyals2015pointer} with an internal stack, the proposed model first reads and encodes the whole sentence, then builds the dependency tree top-down (from root-to-leaf) in a depth-first fashion. The stack tracks the status of the depth-first search and the pointer networks select one child for the word at the top of the stack at each step. The extsc{StackPtr} parser benefits from the information of the whole sentence and all previously derived subtree structures, and removes the left-to-right restriction in classical transition-based parsers. Yet, the number of steps for building any (including non-projective) parse tree is linear in the length of the sentence just as other transition-based parsers, yielding an efficient decoding algorithm with $O(n^2)$ time complexity. We evaluate our model on 29 treebanks spanning 20 languages and different dependency annotation schemas, and achieve state-of-the-art performance on 21 of them.

연구 동기 및 목표

• 좌측에서 우측으로, 局소적인 결정을 내리는 전통적인 전이 기반 파서의 한계를 해결한다. 이러한 파서는 오류 전파 문제를 야기한다.
• 그래프 기반 파서의 비효율성을 극복한다. 비록 정확도가 뛰어나지만 시간 복잡도가 높기 때문이다 (예: O(n³)).
• 전이 기반 파서를 개발하여 문장의 전역 시각과 이전에 구축된 하위트리 정보를 유지함으로써 정확도를 향상시키되, 효율성을 희생하지 않는다.
• 비프로젝티브 의존 구조를 파싱할 수 있도록 하되, 선형 파싱 단계와 O(n²) 시간 복잡도를 유지한다.
• 다양한 언어와 의존 구조(annotation schema)에서 경쟁력 있거나 최신 기술 수준의 성능을 달성한다.

제안 방법

• 전체 입력 문장을 맥락 기반 단어 표현으로 인코딩하기 위해 양방향 RNN 인코더를 사용한다.
• 의존성 트리의 깊이 우선 탐색 상태를 추적하기 위해 내부 스택을 유지한다.
• 각 디코딩 단계에서, 스택 상단의 헤드 단어의 자식 단어를 선택하기 위해 포인터 네트워크를 적용한다.
• 포인터 네트워크는 형제, 할아버지 등 문장 내 모든 단어를 고려하여 자식 선택 결정을 지원한다.
• 선택된 자식 단어를 트리에 통합하고 스택 상태를 갱신함으로써 상향식, 점진적인 트리 구축이 가능하다.
• 차별 가능한 어텐션 메커니즘을 통합하여 모델이 전체 문장과 이전의 하위트리 구조에서 관련 맥락을 참조할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 전이 기반 파서가 전역 문장 맥락과 하위트리 이력을 유지하면서도 시간 복잡도를 증가시키지 않고 정확도를 향상시킬 수 있는가?
• RQ2 포인터 네트워크와 내부 스택을 결합함으로써 비프로젝티브 의존 트리의 효과적이고 효율적이며 정확한 상향식 파싱이 가능한가?
• RQ3 다양한 언어에서 최신 기술 수준의 그래프 기반 모델인 양방향 어텐션(BiAF)과 비교할 때, StackPtr의 정확도와 효율성은 어떠한가?
• RQ4 제안된 아키텍처가 다양한 문법적 구조와 의존 구조 어노테이션 스키마를 가진 언어로 일반화될 수 있는가?
• RQ5 전이 기반 파서에서 좌측에서 우측으로 진행하는 제약 조건을 제거하면 파싱 성능에 어떤 영향을 미치는가?

주요 결과

• StackPtr는 20개 언어에서 29개 트리뱅크 중 21개에서 최신 기술 수준의 UAS와 LAS 성능을 달성했으며, 9개 언어에서는 강력한 BiAF 기준 모델을 초월했다.
• CoNLL 2012 공동 과제에서 StackPtr은 8개 언어(Arabic, Czech, English, German, Portuguese, Slovene, Spanish, Swedish)에서 가장 높은 UAS를 기록했으며, 스코어는 스페인어의 93.46% UAS에서 노르웨이어의 95.52% UAS까지 다양했다.
• UD 트리뱅크에서 StackPtr은 테스트한 12개 언어 전부에서 UAS가 90% 이상이었으며, BiAF보다 9개 언어에서 향상된 성능을 보였다 (예: 노르웨이어 +0.25 UAS, 러시아어 +0.30 UAS).
• 영어 UD 트리뱅크에서는 테스트 세트에서 92.51% UAS와 90.50% LAS를 기록했으며, BiAF(91.91% UAS, 89.82% LAS)를 능가했다.
• 독일어 UD 트리뱅크에서는 94.89% UAS와 92.58% LAS를 달성했으며, BiAF(94.75% UAS, 92.72% LAS)를 초월했다.
• 모델는 효율적인 전이 기반 파서와 동일한 O(n²) 시간 복잡도를 유지하면서도, 포인터 네트워크 어텐션을 통해 전역 맥락을 포착한다.