[논문 리뷰] A Generative Parser with a Discriminative Recognition Algorithm

Jianpeng Cheng, Adam Lopez외 1명|arXiv (Cornell University)|2017. 08. 01.

Natural Language Processing Techniques참고 문헌 22인용 수 8

한 줄 요약

이 논문은 인코더-디코더 구조에서 생성적 순환 신경망 문법(RNNG)과 분류적 인식 모델을 통합하는 통합 프레임워크를 제안하며, 구문 분석과 언어 모델링을 위한 동시 학습을 가능하게 한다. 이 방법은 변분 추론과 기대값 최대화 해석을 통해, 펜 트리뱅크에서 단일 모델로 최고의 언어 모델링 성능를 달성하면서도 경쟁적인 구성 문법 분석 성능 유지를 가능하게 한다.

ABSTRACT

Generative models defining joint distributions over parse trees and sentences are useful for parsing and language modeling, but impose restrictions on the scope of features and are often outperformed by discriminative models. We propose a framework for parsing and language modeling which marries a generative model with a discriminative recognition model in an encoder-decoder setting. We provide interpretations of the framework based on expectation maximization and variational inference, and show that it enables parsing and language modeling within a single implementation. On the English Penn Treen-bank, our framework obtains competitive performance on constituency parsing while matching the state-of-the-art single-model language modeling score.

연구 동기 및 목표

• 순수 생성 모델의 한계를 극복하기 위해, 제약이 많은 특징 가정과 간접적인 학습 목표로 인해 발생하는 문제를 해결하기 위해.
• 생성적 파서와 분류적 인식 모델을 통합하여 파서 정확도를 향상시키면서도 생성 모델링 능력을 유지하기 위해.
• 일관된 문법 유도, 구문 분석, 언어 모델링을 하나의 엔드 투 엔드 학습 가능한 프레임워크 내에서 통합하기 위해.
• 변분 추론과 기대값 최대화 기반의 엄밀한 학습 목표를 제공하여 무 supervision 및 약한 supervision 학습을 가능하게 하기 위해.
• 단일 모델 아키텍처를 통해 경쟁적인 구성 문법 분석 성능와 최고 수준의 언어 모델링 점수를 동시에 달성하기 위해.

제안 방법

• 프레임워크는 문장 $ x $ 와 문법 트리를 형성하는 전이 동작 시퀀스 $ a $ 의 연합 확률 $ p(x, a) $ 를 모델링하는 생성적 RNNG를 사용한다.
• 진짜 사후확률 $ p(a|x) $ 를 변분 근사로 사용하는 분류적 인식 모델 $ q(a|x) $ 가 도입되어 효율적인 추론과 향상된 구문 분석 정확도를 가능하게 한다.
• 학습 목표는 증거 하한값(ELBO)에서 유도되며, 이는 생성 모델 $ p(x,a) $ 와 분류적 인식 모델 $ q(a|x) $ 를 동시에 최적화한다.
• 역전파를 인식 모델을 통해 적용하여 경사 하강법을 사용한 엔드 투 엔드 최적화가 가능하다.
• Kingma 등(2014)과 Miao 및 Blunsom(2016)의 접근 방식을 따르며, ELBO 목표에 감독 신호를 통합함으로써 감독 및 비감독 학습을 모두 지원한다.
• 생성 모델을 통해 문장 전체에 확률을 직접 할당함으로써 언어 모델링이 가능하며, 구문 분석은 분류적 인식 모델을 사용한 사후 추론을 통해 수행된다.

실험 결과

연구 질문

• RQ1 생성적 및 분류적 모델을 통합한 통합 프레임워크가 독립적인 모델 대비 구문 분석 및 언어 모델링 성능 향상에 기여하는가?
• RQ2 변분 추론과 기대값 최대화는 구문 분석에서 생성적 및 분류적 구성 요소의 동시 학습을 어떻게 해석할 수 있는가?
• RQ3 제안된 프레임워크는 최고 수준의 언어 모델링 성능를 달성하면서도 경쟁적인 구문 분석 정확도를 유지할 수 있는가?
• RQ4 분류적 인식 모델의 통합이 순수 생성적 RNNG 대비 구문 분석 성능 향상에 뚜렷한 영향을 미치는가?
• RQ5 프레임워크는 기울기 기반 최적화와 사후 정규화 기법을 사용하여 비감독 문법 유도를 지원할 수 있는가?

주요 결과

• 영문 펜 트리뱅크에서 언어 모델링 퍼플렉서티 99.8을 달성하여 최고 수준의 단일 모델 성능를 정확히 재현하였다.
• 구성 문법 분석에서 경쟁적인 성능를 기록하였으며, 표준 생성적 RNNG를 초월하고, 통합 환경에서 분류적 모델의 성능를 맞추었다.
• 분류적 인식 모델의 통합이 순수 생성적 RNNG 베이스라인 대비 구문 분석 정확도 향상에 뚜렷한 기여를 하였다.
• 감독 및 비감독 학습을 모두 지원하며, 사후 정규화 기법을 활용한 문법 유도 가능성도 제공한다.
• 변분 추론 기반 목표는 생성적 및 분류적 구성 요소의 효과적인 동시 최적화를 가능하게 하여, 분류적 제안을 사용한 중요도 샘플링 대비 엄밀한 대안을 제공한다.
• 중요도 샘플링에 열악한 제안을 기반으로 의존하는 Dyer 등(2016)의 방법보다 언어 모델링 성능에서 뛰어나며, ELBO를 통한 직접적인 마진 확률 최적화로 인해 성능 향상을 달성하였다.