[논문 리뷰] Compound Probabilistic Context-Free Grammars for Grammar Induction

Yoon Kim, Chris Dyer외 1명|arXiv (Cornell University)|2019. 06. 24.

Topic Modeling참고 문헌 90인용 수 7

한 줄 요약

이 논문은 신경망을 사용해 규칙 확률을 파arameter화하고 문장 수준의 연속 잠재 변수를 도입하여 표준 PCFG 가정을 초월한 장거리 의존성을 모델링하는 복합 확률적 문맥 자유 문법(Compound PCFG)을 제안한다. 잠재 트리를 근사적으로 적분하기 위해 변동형 변분 추론과 동적 프로그래밍을 조합함으로써, 영어 및 중국어 벤치마크에서 최신의 비지도 파싱 성능을 달성한다.

ABSTRACT

We study a formalization of the grammar induction problem that models sentences as being generated by a compound probabilistic context-free grammar. In contrast to traditional formulations which learn a single stochastic grammar, our grammar's rule probabilities are modulated by a per-sentence continuous latent variable, which induces marginal dependencies beyond the traditional context-free assumptions. Inference in this grammar is performed by collapsed variational inference, in which an amortized variational posterior is placed on the continuous variable, and the latent trees are marginalized out with dynamic programming. Experiments on English and Chinese show the effectiveness of our approach compared to recent state-of-the-art methods when evaluated on unsupervised parsing.

연구 동기 및 목표

• 기존 PCFG의 제약 조건, 특히 엄격한 독립성 가정과 최적화 난이도가 높은 문제를 해결한다.
• 최대우도 추정을 사용할 때 표준 PCFG로는 원시 텍스트에서 언어학적으로 의미 있는 문법을 도출하기 어려운 문제를 해결한다.
• 문장 수준의 연속 잠재 벡터를 도입하여 문맥 의존적 규칙 확률을 모델링함으로써 생성 과정에서 장거리 의존성을 가능하게 한다.
• 잠재 파싱 트리를 근사적으로 적분하기 위해 축약된 변분 추론과 동적 프로그래밍을 조합한 효율적인 추론 방법을 개발한다.
• 영어 및 중국어 데이터셋에서 최근의 신경망 및 확률적 접근법에 비해 향상된 비지도 파싱 성능을 입증한다.

제안 방법

• 비단말어 및 전단말어의 분산 표현을 입력으로 받아 규칙 확률로 매핑하는 신경망을 사용해 PCFG 규칙 확률을 파arameter화한다.
• 문장 수준의 연속 잠재 벡터를 도입하여 규칙 확률을 조절함으로써, 엄격한 문맥 자유 독립성 조건을 완화하는 복합 PCFG를 구성한다.
• 인식 네트워크를 사용해 변동형 변분 추론을 적용하여 잠재 벡터의 사후분포를 근사함으로써 엔드 투 엔드 학습을 가능하게 한다.
• 축약된 변분 추론을 적용: 고정된 잠재 벡터에 대해 동적 프로그래밍(예: CKY 스타일 알고리즘)을 사용해 모든 가능한 파싱 트리에 대해 적분한다.
• 재구성 가능한 확률적 경사 하강법을 활용해 관측 문장의 로그 주변확률을 최적화함으로써, 미분 가능한 추론을 활용한다.
• 동적 프로그래밍 계산을 통해 역전파를 수행하여 문법 파arameter와 잠재 표현을 함께 최적화한다.

실험 결과

연구 질문

• RQ1 PCFG 규칙 확률에 대한 신경망 파arameterization은 PCFG의 최대우도 학습을 더 효과적이고 안정적으로 만들 수 있는가?
• RQ2 문장 수준의 연속 잠재 변수는 표준 PCFG 가정을 초월해 비지도 문법 유도에서 장거리 의존성을 개선하는 데 기여하는가?
• RQ3 축약된 변분 추론을 적용한 복합 PCFG 프레임워크는 최근 최고 수준의 비지도 파싱 방법을 능가하는가?
• RQ4 모델 아키텍처 선택(예: 잔차 연결, 정규화, 추론 네트워크 설계)에 따라 성능에 얼마나 민감한가?
• RQ5 제안된 방법은 영어 및 중국어 데이터셋을 통해 언어 간 일반화가 가능한가?

주요 결과

• PCFG 규칙 확률에 대한 신경망 파arameterization은 이전의 최적화 곤란 문제를 극복하고 단순한 최대우도 최적화를 통해 효과적인 문법 유도를 가능하게 한다.
• 문장 수준의 잠재 벡터를 갖는 복합 PCFG는 제1차 문맥 자유 가정을 초월해 모호한 의존성을 포괄함으로써 더 풍부한 문법 일반화를 달성한다.
• 영어 및 중국어 비지도 파싱 벤치마크에서 최신의 신경망 및 확률적 접근법을 능가하는 최고 성능을 기록한다.
• 모델 아키텍처에 민감한 편이지만, 잔차 연결이 성능 향상에 결정적인 역할을 하며, 랜덤 시드에 따라 다소 변동성이 있음을 확인했다.
• 동적 프로그래밍 단계의 $O(|\mathcal{R}||\boldsymbol{x}|^3)$ 계산 비용이 높지만, 표준 데이터셋에서는 여전히 실행 가능하고 효과적인 것으로 나타났다.
• 이 프레임워크는 조건부 추론이 가능하고 트랙터블한 다른 생성 모델에도 일반화 가능하며, 문법 유도를 넘어서 더 넓은 응용 가능성을 시사한다.