[논문 리뷰] Transition-Based Dependency Parsing with Stack Long Short-Term Memory

Chris Dyer, Miguel Ballesteros외 3명|Repositori digital de la UPF (Universitat Pompeu Fabra)|2015. 05. 29.

Natural Language Processing Techniques참고 문헌 39인용 수 526

한 줄 요약

이 논문은 전이 기반 의존 관계 구문 분석을 위한 새로운 순환 신경망 아키텍처인 스택 LSTMs를 소개한다. 이 아키텍처는 스택의 푸시 및 팝 연산을 지원하여 구문 분석기 상태를 모델링할 수 있다. 전체 스택, 버퍼, 액션 이력의 연속적 임베딩을 유지함으로써 모델은 전역 상태 정보를 포착하며, 엔드 투 엔드 백프로파게이션 학습을 통해 영어 및 중국어 의존 관계 구문 분석 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

We propose a technique for learning representations of parser states in transition-based dependency parsers. Our primary innovation is a new control structure for sequence-to-sequence neural networks---the stack LSTM. Like the conventional stack data structures used in transition-based parsing, elements can be pushed to or popped from the top of the stack in constant time, but, in addition, an LSTM maintains a continuous space embedding of the stack contents. This lets us formulate an efficient parsing model that captures three facets of a parser's state: (i) unbounded look-ahead into the buffer of incoming words, (ii) the complete history of actions taken by the parser, and (iii) the complete contents of the stack of partially built tree fragments, including their internal structures. Standard backpropagation techniques are used for training and yield state-of-the-art parsing performance.

연구 동기 및 목표

• 이전의 전이 기반 구문 분석기가 구문 분석기 상태의 좁고 국소적인 시각에 의존하는 한계를 해결하기 위해.
• 입력 버퍼, 부분적으로 구축된 구문 구조 스택, 액션 이력의 전체 구문 분석기 상태를 통합된 신경 표현으로 모델링하기 위해.
• 전역 상태 민감성에도 불구하고 선형 시간 복잡도를 유지하는 가역적이고 효율적인 구문 분석 모델을 개발하기 위해.
• 구문적 구조의 бог화된 조합 표현을 학습함으로써 의존 관계 구문 분석 정확도를 최고 수준으로 끌어올리기 위해.
• 구문 분석에서 전역적 맥락 인식이 스택 보강 LSTMs 아키텍처를 통해 효율적으로 달성될 수 있음을 보여주기 위해.

제안 방법

• 스택 유사 연산을 지원하는 LSTMs의 변종인 스택 LSTMs를 제안하여, 지속적인 연속 업데이트되는 스택 메모리로 함께 시퀀스 모델링을 가능하게 한다.
• 입력 버퍼, 부분적으로 구축된 구문 구조 스택, 구문 분석 액션 이력의 세 가지 별도의 스택 LSTMs를 사용하여 표현한다.
• 트리 조각의 표현을 조합하기 위해 재귀 신경망을 활용하여 부분 구문 트리에서의 구문적 구조의 조합 모델링을 가능하게 한다.
• 엔드 투 엔드 학습을 위해 표준 백프로파게이션 스트림을 적용하며, 각 구문 단계에서 예측된 액션에 대한 손실을 계산한다.
• 단어 임베딩을 통합하고 각 시간 단계에서 전체 구문 분석기 상태의 연속 벡터 표현을 학습한다.
• 전체 입력을 다시 처리하지 않고 상태 표현을 점진적으로 구축함으로써 효율적이고 선형 시간 복잡도의 구문 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 스택 유사 연산을 지원하는 신경망 아키텍처가 국소 상태 표현보다 전체 구문 분석기 상태를 더 효과적으로 모델링할 수 있는가?
• RQ2 입력 버퍼, 스택, 액션 이력의 전체 정보를 캡처함으로써 전이 기반 의존 관계 구문 분석의 정확도가 향상되는가?
• RQ3 푸시 및 팝 연산을 지원하는 가역적이고 순환적인 아키텍처가 전역 의존성을 모델링하면서도 선형 시간 복잡도를 유지할 수 있는가?
• RQ4 기존의 신경 전이 기반 구문 분석기와 비교할 때 제안된 스택 LSTMs의 성능 및 일반화 능력은 어떠한가?
• RQ5 연속적 스택 임베딩이 영어 및 중국어와 같은 다양한 언어에서 구문 분석의 강건성 향상에 어느 정도 기여할 수 있는가?

주요 결과

• 제안된 스택 LSTMs 모델은 영어 및 중국어 의존 관계 구문 분석 데이터셋에서 최고 성능을 달성한다.
• 이전의 국소적 맥락에 의존하는 방법들과는 달리, 장거리 의존성과 전역 상태 정보를 더 효과적으로 포착한다.
• 트리 조각의 조합을 위해 재귀 신경망을 사용함으로써 부분 구문 트리에서의 구문적 구조를 정확하게 모델링할 수 있다.
• 백프로파게이션을 통한 엔드 투 엔드 학습은 수작업 특징 공학 없이도 고품질의 표현을 얻을 수 있도록 한다.
• 전체 구문 분석기 상태를 모델링함에도 불구하고 선형 구문 분석 및 학습 시간 복잡도를 유지한다.
• 스택 보강 LSTMs가 시퀀스에서 시퀀스로의 구문 분석 작업에 강력한 가역적 제어 구조로 기능할 수 있음을 모델이 입증한다.