[논문 리뷰] Differentiable Perturb-and-Parse: Semi-Supervised Parsing with a Structured Variational Autoencoder

Caio Corro, Ivan Titov|arXiv (Cornell University)|2018. 07. 25.

Natural Language Processing Techniques인용 수 44

한 줄 요약

이 논문은 구조화된 변분 자동 인코더와 미분가능한 perturb-and-parse 메커니즘에 기반한 반지도 학습 의존성 구문 분석기를 제시하며, 영어, 프랑스어, 스웨덴에 대한 실험을 수행한다.

ABSTRACT

Human annotation for syntactic parsing is expensive, and large resources are available only for a fraction of languages. A question we ask is whether one can leverage abundant unlabeled texts to improve syntactic parsers, beyond just using the texts to obtain more generalisable lexical features (i.e. beyond word embeddings). To this end, we propose a novel latent-variable generative model for semi-supervised syntactic dependency parsing. As exact inference is intractable, we introduce a differentiable relaxation to obtain approximate samples and compute gradients with respect to the parser parameters. Our method (Differentiable Perturb-and-Parse) relies on differentiable dynamic programming over stochastically perturbed edge scores. We demonstrate effectiveness of our approach with experiments on English, French and Swedish.

연구 동기 및 목표

• 일반적인 단어 임베딩을 넘어 비라벨링된 텍스트를 활용하여 구문 주석의 높은 비용을 해결한다.
• 잠재 의존성 트리와 문장 임베딩으로부터 문장이 생성된다는 확률적 생성 모델을 제안한다.
• 레이블된 데이터에 대한 판별적 목적을 결합한 변분 autoencoder 목표로 모델을 학습한다.
• 잠재 의존성 트리를 샘플링하고 미분할 수 있도록 하는 미분가능한 perturb-and-parse 방법을 도입한다.

제안 방법

• 잠재 변수로서 투사적 의존 트리 T와 문장 임베딩 z를 가지는 생성 모델을 정의하고 p(s|T,z)가 신경망에 의해 매개화된다.
• 사후분포를 근사하기 위해 qφ(T,z|s)를 사용하고 비지도 및 지도 용어를 결합한 ELBO를 최대화한다.
• 인코더를 qφ(T|s) qφ(z|s)로 인수분해하고 T는 로그-선형 간선 가중치 모델로 매개화되며 z는 LSTM에서 나온 대각 가우시안으로 매개화된다.
• z로 조건화된 LSTM으로 자기회귀적으로 해독하고 T로부터의 구문 구조를 반영하기 위해 그래프 컨볼루션 네트워크를 사용한다.
• Differentiable Perturb-and-Parse를 사용: 간선 가중치를 Gumbel 유사 잡음으로 섞고 미분가능한 파싱 대리 모델을 사용하여 T에 대해 기울기 기반 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 비라벨링 데이터가 학습된 단어 표현을 넘어 신경망 의존성 구문 분석을 개선할 수 있는가?
• RQ2 미분가능한 perturb-and-parse가 VAE 프레임워크에서 잠재 의존 트리에 대해 작동 가능한 기울기 경로를 제공할 수 있는가?
• RQ3 영어, 프랑스어, 스웨덴에서 반지도 VAE가 감독 기반 기준선과 비교하여 어떻게 성능을 보이는가?
• RQ4 생성적 목적과 판별적 목적을 어떻게 결합하여 파서를 효과적으로 학습시킬 것인가?

주요 결과

• 이 방법은 반지도 의존성 구문 분석을 위한 변분 자동 인코더 프레임워크를 도입한다.
• 미분가능한 Perturb-and-Parse 연산자가 잠재 트리를 통한 기울기 기반 학습을 가능하게 한다.
• 이 방법은 유사한 감독 기반 기준선과 비교하여 영어, 프랑스어, 스웨덴에서 효과를 입증한다.