[논문 리뷰] Training with Exploration Improves a Greedy Stack-LSTM Parser

Miguel Ballesteros, Yoav Goldberg외 2명|arXiv (Cornell University)|2016. 03. 11.

Topic Modeling참고 문헌 37인용 수 21

한 줄 요약

이 논문은 고정 오라클 대신 동적 오라클을 사용하여 탐욕스러운 스택-LSTM 의존성 파서를 훈련시켜, 훈련 중에 모델 자체의 예측 오류에서 학습할 수 있도록 한다. 황금 표준 상태와 모델이 생성한 파서 상태 사이를 조합함으로써 일반화 능력을 향상시키며, 영어에서 93.56 UAS를 달성하고 탐욕스러운 파서 중 최고의 성능을 기록하면서도 선형 파싱 속도를 유지한다.

ABSTRACT

We adapt the greedy Stack-LSTM dependency parser of Dyer et al. (2015) to support a training-with-exploration procedure using dynamic oracles(Goldberg and Nivre, 2013) instead of cross-entropy minimization. This form of training, which accounts for model predictions at training time rather than assuming an error-free action history, improves parsing accuracies for both English and Chinese, obtaining very strong results for both languages. We discuss some modifications needed in order to get training with exploration to work well for a probabilistic neural-network.

연구 동기 및 목표

• 탐욕스러운 신경망 의존성 파서에서 훈련과 추론 간의 불일치 문제를 해결하기 위해, 훈련 시에는 완벽한 역사를 가정하지만 추론 시에는 모델이 예측한 행동을 사용한다는 점을 다루기 위함.
• 비황금 표준, 모델이 생성한 파서 상태를 사용해 탐욕스러운 스택-LSTM 파서의 강건성을 향상시키기 위함.
• Goldberg와 Nivre(2013)의 동적 오라클 프레임워크를 확률적 신경망 전이 기반 파서에 적용하기 위함.
• 훈련 중 탐색을 통해 정확도가 향상되는지, 동시에 탐욕스러운 추론 속도가 손상되지 않는지 평가하기 위함.
• 다국어 의존성 파싱 벤치마크에서 탐욕스러운 파서의 최고 성능을 확립하기 위함.

제안 방법

• 황금 표준 행동을 가정하는 대신, 모델이 예측한 불완전한 파서 역사에 기반해 최적의 동작을 선택하는 동적 오라클을 고정 오라클 대체.
• 혼합 계수 α를 사용해 훈련 중에 황금 표준 상태와 모델이 생성한 상태 사이를 조합하며, 영어에서 최적의 α=0.75로 설정.
• 스택-LSTM를 사용해 파서 상태를 고정 차원 벡터 p_t로 인코딩하고, 이는 액션 임베딩 g_z와 편향 q_z를 통해 소프트맥스를 통해 액션 확률을 계산하는 데 사용.
• 황금 표준 시퀀스 대신 동적 오라클이 선택한 액션 시퀀스의 음의 로그 우도를 기반으로 역전파를 사용해 모델을 훈련.
• 스택-LSTM의 상수 시간 상태 업데이트를 통해 선형 파싱 시간을 유지함으로써, 테스트 시 탐욕스러운 디코딩의 효율성을 그대로 유지.
• Dyer 등(2015)의 스택-LSTM 파서에 이 방법을 적용하며, 동일한 아키텍처와 훈련 설정을 사용하지만, 탐색을 포함한 supervision 신호만 수정.

실험 결과

연구 질문

• RQ1 비황금 표준, 모델이 생성한 파서 상태를 기반으로 탐욕스러운 스택-LSTM 파서를 훈련시키면, 테스트 시 예측 성능이 향상되는가?
• RQ2 훈련 중에 예측 오류를 고려하는 동적 오라클을 사용할 경우, 완벽한 역사를 가정하는 고정 오라클보다 일반화 능력이 향상되는가?
• RQ3 황금 표준 상태와 모델이 생성한 상태 사이의 조합(α로 제어)이 다양한 언어에서 파싱 정확도에 미치는 영향은 어떠한가?
• RQ4 이 방법은 추론 시간을 증가시키지 않으면서도 탐욕스러운 파서 중 최고의 성능을 달성할 수 있는가?
• RQ5 사전 학습된 단어 임베딩을 사용할 경우, 탐색을 통한 훈련의 이점이 증폭되는가?

주요 결과

• 동적 오라클 훈련 방법은 고정 오라클 훈련보다 파싱 정확도를 향상시키며, 영어 CoNLL 2009 테스트 세트에서 93.56 UAS를 달성하여 탐욕스러운 파서 중 보고된 바 가장 높은 성능을 기록했다.
• 이 방법은 중국어 CoNLL 2009 트리뱅크에서 탐욕스러운 파서 중 최고 성능을 기록하며 새로운 최고 기록을 수립했다. 92.62 UAS를 달성했다.
• 사전 학습된 단어 임베딩을 사용할 경우 성능 향상 효과가 가장 두드러지며, 영어에서 최적의 조합 계수 α=0.75로 설정되었다.
• 아크-하이브리드 전이 시스템은 고정 오라클 훈련에서는 아크-표준 시스템보다 약간 성능이 열등했지만, 동적 오라클 훈련에서는 크게 향상되었다.
• 동적 오라클 접근 방식은 고정 오라클 기반 모델 대비 모든 테스트 언어(영어, 중국어, 독일어, 스페인어)에서 일관되게 성능 향상을 보였으며, 빔 서치를 사용할 경우에도 마찬가지로 성능 향상이 뚜렷했다.
• 이 방법은 원래 탐욕스러운 스택-LSTM 파서의 선형 파싱 속도를 유지하므로, 고처리량 응용 분야에 적합하다.