[논문 리뷰] Fast(er) Exact Decoding and Global Training for Transition-Based Dependency Parsing via a Minimal Feature Set

Tianze Shi, Liang Huang외 1명|arXiv (Cornell University)|2017. 08. 30.

Natural Language Processing Techniques인용 수 9

한 줄 요약

이 논문은 전이 기반 의존성 파싱을 위한 최소 두 위치의 양방향 LSTM 특징 집합을 소개하며, 이는 궁극적으로 아크-하이브리드 및 아크-에이져 시스템에서 O(n³) 정확한 디코딩과 글로벌 훈련을 가능하게 한다. 특징의 복잡성을 극도로 줄임과 동시에 성능을 유지함으로써, 이 방법은 중국어 트리뱅크에서 최고 성능(90.22 UAS)과 펜 트리뱅크에서 두 번째로 높은 성능(95.33 UAS)을 달성한다.

ABSTRACT

We first present a minimal feature set for transition-based dependency parsing, continuing a recent trend started by Kiperwasser and Goldberg (2016a) and Cross and Huang (2016a) of using bi-directional LSTM features. We plug our minimal feature set into the dynamic-programming framework of Huang and Sagae (2010) and Kuhlmann et al. (2011) to produce the first implementation of worst-case O(n^3) exact decoders for arc-hybrid and arc-eager transition systems. With our minimal features, we also present O(n^3) global training methods. Finally, using ensembles including our new parsers, we achieve the best unlabeled attachment score reported (to our knowledge) on the Chinese Treebank and the "second-best-in-class" result on the English Penn Treebank.

연구 동기 및 목표

• 정확한 디코딩과 글로벌 훈련을 가능하게 하는 최소이면서도 효과적인 특징 집합을 개발하는 것.
• 위치 특징의 수를 최소화하여 아크-하이브리드 및 아크-에이져 시스템에서 정확한 디코딩의 계산 복잡도를 이전의 O(n⁶)에서 O(n³)로 감소시키는 것.
• 전이 기반 파싱과 그래프 기반 파싱 사이의 격차를 좁히기 위해 전이 시스템에서 정확한 디코딩과 글로벌 최적화를 가능하게 하는 것.
• 최소한의 양방향 LSTM 특징 집합이 정확도와 효율성 측면에서 더 큰 특징 집합보다 뛰어나다는 것을 입증하는 것.

제안 방법

• 스택의 상단(s₀)과 버퍼의 첫 번째 토큰(b₀)에 대한 두 개의 양방향 LSTM 벡터만 포함하는 최소한의 특징 집합을 제안한다.
• 황과 사가에(2010) 및 쿠할만 등(2011)의 동적 프rogramming 프레임워크에 이 최소한의 특징 집합을 통합함으로써, 최악의 경우 디코딩 시간을 O(n³)로 감소시킨다.
• 동일한 최소한의 특징 집합을 활용하여 글로벌 훈련을 가능하게 하여 국소적 결정이 아닌 전체 파싱 공간에 대한 최적화를 허용한다.
• 베이스라인 모델의 성능 향상을 위해 글로벌 훈련과 정확한 디코딩를 수행한 파서의 앙상블을 활용한다.
• 양방향 LSTM을 사용하여 많은 위치 특징이 필요 없이 rich한 문맥 정보를 포착한다.
• 황과 사가에(2010) 및 쿠할만 등(2011)의 이론적 프레임워크를 최소한의 특징 집합과 효율적으로 통합함으로써, 정확한 디코딩이 계산적으로 가능하도록 보장한다.

실험 결과

연구 질문

• RQ1 두 개의 양방향 LSTM 벡터(s₀ 및 b₀)로 구성된 최소한의 특징 집합이 전이 기반 파싱에서 계산 복잡도를 극도로 줄이면서도 높은 파싱 정확도를 유지할 수 있는가?
• RQ2 최소한의 특징 집합을 사용하여 아크-하이브리드 및 아크-에이져 전이 시스템에서 O(n³) 정확한 디코딩을 달성할 수 있는가?
• RQ3 최소한의 특징 집합을 사용한 글로벌 훈련이 국소 훈련보다 성능 향상에 기여하는가?
• RQ4 제안된 방법이 중국어 트리뱅크 및 펜 트리뱅크와 같은 표준 의존성 파싱 벤치마크에서 최고 성능을 달성할 수 있는가?
• RQ5 정확도와 효율성 측면에서 최소한의 특징 집합은 더 큰 특징 집합보다 어떻게 비교되는가?

주요 결과

• 두 개의 양방향 LSTM 벡터(s₀ 및 b₀)로 구성된 최소한의 특징 집합은 영어 펜 트리뱅크 개발 세트에서 94.08% UAS를 달성하여 더 큰 특징 집합을 능가하며, 더 복잡한 모델의 성능에 가까워진다.
• 제안된 방법은 아크-하이브리드 및 아크-에이져 시스템에서 O(n³) 정확한 디코딩을 가능하게 하여 이전의 O(n⁶) 복잡도를 실용적인 실행 시간으로 감소시켰다.
• 최소한의 특징 집합을 사용한 글로벌 훈련은 성능 향상에 기여하였으며, 앙상블은 중국어 트리뱅크에서 90.22% UAS를 기록하여 의존성 기반 파싱에서 지금까지 보고된 바 중 최고 성능이다.
• 펜 트리뱅크에서는 앙상블이 95.33% UAS를 기록하여 의존성 기반 접근 방식 중 두 번째로 높은 성능을 달성했다.
• 최소한의 특징 집합은 단일 위치 특징보다 뛰어나며, 특징을 제거했을 때의 성능 저하도著명하게 감소시켜 강건성과 효율성을 입증했다.
• 이 방법은 이전에 그래프 기반 방법이 지배하던 전이 기반 파싱 파라다임에 정확한 디코딩과 글로벌 훈련을 성공적으로 통합하였다.