[논문 리뷰] A Simple LSTM model for Transition-based Dependency Parsing

Mohab Elkaref, Bernd Bohnet|arXiv (Cornell University)|2017. 08. 29.

Topic Modeling참고 문헌 20인용 수 8

한 줄 요약

이 논문은 표준 피드포워드 히든 레이어를 단일 LSTM 레이어로 대체하여 순차적 의존 관계를 모델링하는 단순한 LSTM 기반 전이 기반 의존성 파서를 제안한다. 사전 훈련된 피드포워드 네트워크 가중치를 사용해 LSTM을 초기화함으로써 성능을 향상시켰다. 이 방법은 펜 트리뱅크에서 93.06%의 언벨로드드 어태치먼트 스코어(UAS)와 91.01%의 레이블러드 어태치먼트 스코어(LAS)를 기록하여 기준 모델을 능가했으며, LSTMs, GRUs, 엘먼 네트워크 전반에 걸쳐 입력 드롭아웃과 게이트별 초기화의 효과를 입증했다.

ABSTRACT

We present a simple LSTM-based transition-based dependency parser. Our model is composed of a single LSTM hidden layer replacing the hidden layer in the usual feed-forward network architecture. We also propose a new initialization method that uses the pre-trained weights from a feed-forward neural network to initialize our LSTM-based model. We also show that using dropout on the input layer has a positive effect on performance. Our final parser achieves a 93.06% unlabeled and 91.01% labeled attachment score on the Penn Treebank. We additionally replace LSTMs with GRUs and Elman units in our model and explore the effectiveness of our initialization method on individual gates constituting all three types of RNN units.

연구 동기 및 목표

• 표준 피드포워드 히든 레이어를 단일 LSTM 레이어로 대체하여 전이 기반 의존성 파싱 성능을 향상시키는 것.
• 사전 훈련된 피드포워드 네트워크 가중치로 LSTM을 초기화하면 의존성 파싱 정확도 향상에 기여하는지 조사하는 것.
• 입력 드롭아웃이 모델 일반화 및 성능에 미치는 영향을 평가하는 것.
• 제안된 초기화 방법이 LSTMs와 GRUs의 개별 게이트에 대해 얼마나 효과적인지 평가하는 것.
• 동일한 초기화 및 훈련 프로토콜 하에서 LSTMs, GRUs, 엘먼 네트워크의 성능을 비교하는 것.

제안 방법

• 전이 기반 파싱에서 표준 피드포워드 히든 레이어를 단일 레이어 LSTM으로 대체하여 파싱 전이 간의 순차적 의존성을 모델링하는 것.
• 동일한 작업에서 사전 훈련된 피드포워드 신경망(FFN)의 가중치를 사용해 LSTM의 가중치를 초기화함으로써 빠른 수렴과 향상된 정확도를 달성하는 것.
• 입력 레이어 기능에 드롭아웃을 적용하여 모델을 정규화하고 과적합을 줄이는 것.
• 백프로파게이션을 사용해 LSTM 모델을 엔드 투 엔드로 훈련하며, 스택, 버퍼, 아크 구조를 포함한 아크-스탠다드 전이 시스템을 파서 구성으로 사용하는 것.
• LSTM을 GRUs와 엘먼 네트워크로 대체하여 초기화 방법의 일반성에 대해 평가하는 실험을 수행하는 것.
• 각 개별 게이트(입력, 잊기, 출력, 후보)를 별도로 초기화하여 기여도를 평가하기 위해 아블레이션 스터디를 수행하는 것.

실험 결과

연구 질문

• RQ1 피드포워드 히든 레이어를 단일 LSTM 레이어로 대체하면 전이 기반 의존성 파싱 성능이 향상되는가?
• RQ2 사전 훈련된 피드포워드 네트워크 가중치로 LSTM을 초기화하면 의존성 파싱 정확도에 상당한 향상이 이루어지는가?
• RQ3 입력 드롭아웃은 이 아키텍처에서 일반화 및 성능 향상에 얼마나 효과적인가?
• RQ4 제안된 초기화 방법은 LSTMs, GRUs, 엘먼 네트워크와 같은 다양한 RNN 유닛에 대해 일관된 향상을 가져오는가?
• RQ5 LSTM의 개별 게이트 중에서(입력, 잊기, 출력, 후보) 어떤 게이트가 제안된 초기화 기법으로 가장 큰 이점을 얻는가?

주요 결과

• 제안된 LSTM 기반 파서는 펜 트리뱅크 테스트 세트에서 93.06%의 언벨로드드 어태치먼트 스코어(UAS)와 91.01%의 레이블러드 어태치먼트 스코어(LAS)를 기록하여 기준 FFN 모델과 무작위 초기화된 LSTM 모델을 모두 능가했다.
• 사전 훈련된 FFN 초기화는 LSTM 성능을 크게 향상시켰으며, 최종 모델은 대부분의 최신 기술(LSTM 기반) 파서를 능가하거나 동등하게 성능을 내었다.
• 입력 드롭아웃은 일관되게 모델 성능을 향상시켜 이 아키텍처에서 정규화 기법으로서의 가치를 입증했다.
• LSTM 게이트를 개별적으로 부트스트랩하면 혼합된 결과를 보였으며, 특히 사전 훈련된 임베딩을 사용할 경우 출력 게이트와 후보 게이트에서 가장 일관된 향상이 관찰되었다.
• 초기화 방법은 LSTMs와 엘먼 네트워크에 대해 효과적이지만, GRUs에 대해서는 덜 효과적이었으며, 사전 훈련된 임베딩을 사용해 전체 게이트를 부트스트랩하면 성능이 심각하게 저하되는 것으로 나타났다.
• GRU 기반 모델들조차도 부트스트랩된 가중치를 사용하더라도 기준 피드포워드 네트워크의 성능을 초월하지 못했으며, 이는 이 파싱 작업에서의 능력에 한계가 있음을 시사한다.