[논문 리뷰] A Bayesian Model for Generative Transition-based Dependency Parsing

Jan Buys, Phil Blunsom|arXiv (Cornell University)|2015. 06. 13.

Topic Modeling참고 문헌 40인용 수 9

한 줄 요약

이 논문은 계층적 피트만-요르 과정(HPYPs)을 사용하여 단어, 품사 태그, 의존 구조의 공동 확률를 모델링하는 확장성 있고 완전히 생성적인 전이 기반 의존 구조 파서를 제안한다. 모델 불확실성에 따라 비드 크기를 동적으로 조정하는 입자 필터링 기반 디코딩 알고리즘을 도입하여, WSJ에서 88.5%의 UAS를 달성하고, 준지도 학습 설정에서 n-gram 모델을 능가하는 경쟁적인 퍼플렉서티를 보이며, 생성 모델로서의 성능을 확보한다.

ABSTRACT

We propose a simple, scalable, fully generative model for transition-based dependency parsing with high accuracy. The model, parameterized by Hierarchical Pitman-Yor Processes, overcomes the limitations of previous generative models by allowing fast and accurate inference. We propose an efficient decoding algorithm based on particle filtering that can adapt the beam size to the uncertainty in the model while jointly predicting POS tags and parse trees. The UAS of the parser is on par with that of a greedy discriminative baseline. As a language model, it obtains better perplexity than a n-gram model by performing semi-supervised learning over a large unlabelled corpus. We show that the model is able to generate locally and syntactically coherent sentences, opening the door to further applications in language generation.

연구 동기 및 목표

• 기존 생성 모델의 계산 비효율성을 해결하고, 계산이 효율적인 전이 기반 의존 구조 파서를 개발하는 것.
• 디코딩 중 모델 불확실성에 따라 비드 크기를 동적으로 조정함으로써 생성 파싱에서 효율적인 추론을 가능하게 하는 것.
• 특히 비정규화된 데이터가 있는 준지도 설정에서 의존 구조 파싱과 언어 모델링 성능을 평가하는 것.
• 모델이 문법적으로 일관된 문장을 생성할 수 있는 능력을 입증하는 것.

제안 방법

• 모델는 단어 유형, 품사 태그, 파서 전이의 공동 분포를 매개변수화하기 위해 계층적 피트만-요르 과정(HPYPs)을 사용한다.
• 의존 구조 파싱을 스택 기반 구성에서 왼쪽에서 오른쪽으로 문장을 생성하는 전이의 시퀀스로 모델링한다: 이동(shift), 왼쪽 아크(left-arc), 오른쪽 아크(right-arc).
• 모델 불확실성에 기반해 비드 크기를 적응적으로 조정하는 새로운 입자 필터링 기반 디코딩 알고리즘이 선형 시간 내 추론을 가능하게 한다.
• 디코딩 중 품사 태그와 파싱 트리를 동시에 예측함으로써 정확도와 효율성을 향상시킨다.
• 대규모 비정규화된 코퍼스를 활용하여 언어 모델링 성능을 향상시킴으로써 준지도 학습을 가능하게 한다.
• 생성 과정은 잠재 구조에 대한 완전한 마진화를 허용하기 위해 스파르스한 유형까지 포함한 전체 유도 과정에 확률을 할당한다.

실험 결과

연구 질문

• RQ1 완전히 생성적인 전이 기반 의존 구조 파서가 분류 모델과 비슷한 정확도와 속도를 달성할 수 있는가?
• RQ2 모델 불확실성에 따라 비드 크기를 적응적으로 조정하는 입자 필터링 기반 디코딩이 생성 파싱의 추론 효율성과 정확도를 향상시킬 수 있는가?
• RQ3 모델은 언어 모델로서의 성능가지, 특히 비정규화된 데이터가 있는 준지도 설정에서 어떻게 작동하는가?
• RQ4 모델은 얼마나 높은 수준의 문법적 일관성을 가진 문장을 생성할 수 있는가?

주요 결과

• 모델은 WSJ 테스트 세트에서 88.5%의 UAS를 달성했으며, 유사한 특징을 사용한 탐욕적 분류 기반 베이스라인(88.9% UAS)과 유사한 정확도를 확보했다.
• 모델은 1초당 최대 200개의 문장을 파싱할 수 있어, 생성 모델임에도 불구하고 높은 디코딩 효율성을 입증했다.
• 대규모 비정규화된 코퍼스에서 준지도 학습된 경우, 언어 모델로서의 성능에서 n-gram 모델보다 낮은 퍼플렉서티를 기록했다.
• 감독 학습 조건에서도 모델이 생성한 문장은 n-gram 모델 대비 더 높은 문법적 일관성을 보였다.
• 입자 필터링 디코딩 알고리즘이 모델 불확실성에 따라 비드 크기를 성공적으로 적응시켜 추론의 강건성을 향상시켰다.
• 정확도와 속도 면에서 기존의 생성적 의존 구조 파서를 모두 능가하며, 생성적 파싱의 새로운 벤치마크를 설정했다.