[논문 리뷰] Unsupervised Learning of Syntactic Structure with Invertible Neural Projections

Junxian He, Graham Neubig외 1명|arXiv (Cornell University)|2018. 08. 28.

Topic Modeling참고 문헌 36인용 수 4

한 줄 요약

이 논문은 역행렬 신경망 투영을 사용하여 이산 문법적 구조(예: 품사 태그, 의존성 트리)와 연속적 단어 임베딩을 동시에 학습하는 새로운 비지도 생성 모델을 제안한다. 역행렬성 덕분에 정확한 추론과 주변 가능도 계산이 가능해져, 펜 트리뱅크에서 골드 품사 태그나 구두점 제약 조건 없이도 비지도 품사 태깅 및 비지도 의존성 파싱에서 최고 성능을 달성한다.

ABSTRACT

Unsupervised learning of syntactic structure is typically performed using generative models with discrete latent variables and multinomial parameters. In most cases, these models have not leveraged continuous word representations. In this work, we propose a novel generative model that jointly learns discrete syntactic structure and continuous word representations in an unsupervised fashion by cascading an invertible neural network with a structured generative prior. We show that the invertibility condition allows for efficient exact inference and marginal likelihood computation in our model so long as the prior is well-behaved. In experiments we instantiate our approach with both Markov and tree-structured priors, evaluating on two tasks: part-of-speech (POS) induction, and unsupervised dependency parsing without gold POS annotation. On the Penn Treebank, our Markov-structured model surpasses state-of-the-art results on POS induction. Similarly, we find that our tree-structured model achieves state-of-the-art performance on unsupervised dependency parsing for the difficult training condition where neither gold POS annotation nor punctuation-based constraints are available.

연구 동기 및 목표

• 이산 문법적 구조와 연속적 단어 표현 간의 격차를 메우기 위해 이산 문법적 구조와 연속 임베딩을 동시에 학습함으로써 비지도 문법 모델링과 연속적 단어 표현 간의 통합을 도모한다.
• 신경 투영에 역행렬성을 강제하여 이산 잠재 변수를 가진 생성 모델에서 정확한 추론과 주변 가능도 계산을 가능하게 한다.
• 원시 텍스트에서 더 구조적이고 문법에 민감한 임베딩 공간을 학습함으로써 비지도 품사 태깅 및 의존성 파싱 성능을 향상시킨다.
• 역행렬 투영이 지도 학습이나 형태소 애너테이션 없이도 학습된 임베딩이 문법적 특성에 집중하도록 이끌 수 있음을 보여준다.

제안 방법

• 모델은 각 단어의 이산 문법 레이블을 생성하기 위해 구조적 사전확률(마르코프 또는 트리 구조)을 사용한다.
• 잠재적인 연속적 임베딩은 이산 문법 레이블에 조건부로 정규분포에서 샘플링된다.
• 관측된 사전 학습된 단어 임베딩은 잠재 임베딩을 관측 공간으로 매핑하는 역행렬 신경망을 통해 생성된다.
• 신경 투영기의 역행렬성 덕분에 사전확률이 다룰 수 있을 경우 정확한 사후 추론과 주변 가능도 계산이 가능하다.
• 모델은 가능도를 최대화함으로써 엔드 투 엔드로 훈련되며, 가능도를 매개변수화하기 위해 투영기의 역행렬이 사용된다.
• 역행렬 변환 중 정보 손실을 방지하기 위해 자코비안 정규화 항이 포함된다.

실험 결과

연구 질문

• RQ1 역행렬 신경망은 이산 잠재 문법 변수를 가진 생성 모델에서 정확한 추론과 주변 가능도 계산을 가능하게 할 수 있는가?
• RQ2 연속적 단어 임베딩과 문법 구조를 동시에 학습함으로써 비지도 문법 분석 작업 성능이 향상되는가?
• RQ3 학습된 임베딩 공간은 스위프트그램과 같은 사전 학습된 임베딩보다 문법 유사성을 더 잘 포착할 수 있는가?
• RQ4 골드 품사 태그나 구두점 제약 조건이 없는 저자원 환경에서 모델의 성능은 어떠한가?

주요 결과

• 마르코프 구조 모델은 펜 트리뱅크에서 비지도 품사 태깅에서 이전의 비지도 모델들을 능가하는 최고 성능을 달성한다.
• 트리 구조 모델(DMV 사용)은 가장 도전적인 훈련 조건—골드 품사 태그나 구두점 제약 조건 없이—비지도 의존성 파싱에서 최고 성능을 기록한다.
• t-SNE 시각화 결과, 학습된 잠재 임베딩은 특히 마르코프 구조에서 골드 품사 태그에 해당하는 잘 분리된 클러스터를 형성한다.
• DMV 구조 모델은 의존성 감시 없이도 주어와 목적어 명사 간의 문법적 역할에 따라 구분되는 임베딩을 학습한다.
• 모델은 가우시안 기반 모델을 능가하며, fastText 임베딩을 사용할 경우에도 강력한 성능을 유지함으로써 임베딩 소스에 대해 강인함을 보여준다.
• 정성적 분석 결과, 학습된 임베딩이 문법적 유사성에 집중함을 확인하였으며, 가장 가까운 이웃들이 의미적 유사성보다는 문법적 유사성을 반영한다.