[논문 리뷰] Unsupervised Recurrent Neural Network Grammars
이 논문은 애너테이션된 파싱 트리가 없이도 언어 모델링과 문법적 구조 유도를 동시에 학습하는 비지도 순환 신경망 문법(URNNGs)을 제안한다. 신경 CRF를 추론 네트워크로 사용한 약류 변분 추론을 통해 URNNGs는 경쟁 가능한 언어 모델링 성능과 강력한 문법 유도 성능을 달성하였으며, 영어 및 중국어 벤치마크에서 지도 학습된 RNNGs와 최근의 신경 모델을 뛰어넘거나 맞먹는 성능을 보였다.
Recurrent neural network grammars (RNNG) are generative models of language which jointly model syntax and surface structure by incrementally generating a syntax tree and sentence in a top-down, left-to-right order. Supervised RNNGs achieve strong language modeling and parsing performance, but require an annotated corpus of parse trees. In this work, we experiment with unsupervised learning of RNNGs. Since directly marginalizing over the space of latent trees is intractable, we instead apply amortized variational inference. To maximize the evidence lower bound, we develop an inference network parameterized as a neural CRF constituency parser. On language modeling, unsupervised RNNGs perform as well their supervised counterparts on benchmarks in English and Chinese. On constituency grammar induction, they are competitive with recent neural language models that induce tree structures from words through attention mechanisms.
연구 동기 및 목표
- 애너테이션된 파싱 트리가 없는 비지도 순환 신경망 문법(RNNGs)을 학습하는 방법을 개발하여 문법과 표면 문장 구조를 동시에 모델링하는 것.
- 비지도 RNNGs에서 잠재적 파싱 트리의 통합이 불가능한 문제를 해결하기 위해, 구조화된 추론 네트워크를 사용한 약류 변분 추론을 적용하는 것.
- 추론 네트워크로 신경 CRF 구성문자 파서를 사용하여 생성 모델에 의미 있는 인덕티브 바이어스를 통합함으로써 트리 구조 탐색을 유도하는 것.
- URNNGs의 언어 모델링 및 구성문자 문법 유도 성능을 평가하여 지도 학습된 RNNGs와 최신 신경 모델과 비교하는 것.
- 잠재 변수를 통한 명시적 문법적 구조 학습이 비지도 환경에서 언어 모델링 성능 향상과 해석 가능한 문법 구조 유도에 기여하는지 탐구하는 것.
제안 방법
- 생성 모델은 문장 $ \mathbf{x} $ 와 잠재적 파싱 트리 $ \mathbf{z} $ 의 연합 확률 $ p_{\theta}(\mathbf{x}, \mathbf{z}) $ 를 정의하며, RNN을 사용해 시프트 및 리덕션 동작을 반복적으로 수행함으로써 문법 트리를 점진적으로 구축한다.
- 모든 가능한 파싱 트리에 대한 통합이 불가능한 문제를 해결하기 위해, 로그 주변 가능도 $ \log p_{\theta}(\mathbf{x}) $ 의 하한을 효율적으로 최적화하기 위해 약류 변분 추론을 적용한다.
- 구조화된 추론 네트워크로, 신경 CRF 구성문자 파서를 파arameter화하여 진짜 사후분포 $ q_{\phi}(\mathbf{z} \mid \mathbf{x}) $ 를 근사하며, 비트리비트 트리 구조 탐색에 강력한 인덕티브 바이어스를 제공한다.
- 양방향 LSTM 표현과 CRF 잠재력으로 구성요소 스펜을 모델링하며, 전역 정규화를 통해 유효한 트리 분포를 보장한다.
- 생성자와 추론 네트워크를 함께 최적화하기 위해 확률적 경사 하강법을 사용하여 엔드 투 엔드로 모델을 훈련한다.
- Penn Treebank 및 중국어 트리뱅크를 사용하여 언어 모델링(PPL)과 문법 유도(F1, 문법 평가)에서 성능을 평가한다.
실험 결과
연구 질문
- RQ1애너테이션된 파싱 트리가 없는 비지도 RNNGs가 지도 학습된 RNNGs와 비슷한 언어 모델링 성능을 달성할 수 있는가?
- RQ2신경 CRF를 추론 네트워크로 사용할 경우, 지도 학습 없이도 의미 있는 문법적 구조 탐색을 효과적으로 유도할 수 있는가?
- RQ3어떤 식으로 비지도 RNNGs의 성능이 어텐션 기반 트리 유도를 사용하는 최근의 신경 모델과 비교되는가?
- RQ4비지도 환경에서 문법과 표면 형식을 동시에 모델링하는 것이 언어 모델링 및 문법 유도 성능 향상에 어느 정도 기여하는가?
- RQ5제약을 받는 파서와 일반적인 문법 학습자 간의 상호작용이 인간 언어 습득에서 관찰되는 문법적 바이어스와 유사한 결과를 낳을 수 있는가?
주요 결과
- URNNGs는 Penn Treebank에서 테스트 퍼플렉서티가 90.6을 기록하여 지도 학습된 RNNG(88.7)를 능가하고 강력한 지도 학습 모델과 유사한 성능을 달성하였다.
- 구성문자 문법 유도에서 URNNGs는 Penn Treebank에서 F1 점수 64.6%를 기록하여 이전의 비지도 모델을 능가하였으며, 어텐션 기반 트리 유도를 사용하는 최신 신경 모델과 견줄 만한 성능을 보였다.
- 문법 평가에서 URNNGs는 주어-동사 일치 67.2%, 목적어 상대 절 65.7%, 부정 성질 어휘 55.0%를 기록하여 강력한 문법 일반화 능력을 보였다.
- 모델은 구두점에 대해 강건함을 보였으며, 평가 시 구두점 제거 조건에서도 높은 성능 유지로, 표면적 신호를 초월한 효과적인 문법 일반화를 보였다.
- 변분 추론과 구조화된 추론 네트워크의 조합이 언어적 구조와 언어 모델링의 비지도 학습에 효과적임을 입증하였다.
- 결과적으로, 잠재적 트리 구조에서 유도된 명시적 문법 인덕티브 바이어스가 지도 학습 없이도 언어 모델링 및 문법 유도 성능 향상에 크게 기여함을 시사한다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.