[논문 리뷰] What Do Recurrent Neural Network Grammars Learn About Syntax?

Adhiguna Kuncoro, Miguel Ballesteros외 4명|arXiv (Cornell University)|2016. 11. 17.

Natural Language Processing Techniques참고 문헌 33인용 수 11

한 줄 요약

이 논문은 재귀 신경망 문법(RNNGs)이 데이터로부터 학습하는 문법 지식을 분석하기 위해 모델 구성 요소를 제거하고 해석 가능성 향상을 위해 게이트드 어텐션 메커니즘(GA-RNNG)을 도입한다. 구성 함수가 성능에 핵심적인 역할을 하며, 헤드가 어절 표현에서 중심적인 역할을 하며, 비단말 표기어는 기여도가 미미하다는 것을 발견한다. 이는 내부 중심성 이론을 지지하며, 앙상블 없이도 최신 기준 성능(93.6 F1)을 달성할 수 있음을 보여준다.

ABSTRACT

Recurrent neural network grammars (RNNG) are a recently proposed probabilistic generative modeling family for natural language. They show state-of-the-art language modeling and parsing performance. We investigate what information they learn, from a linguistic perspective, through various ablations to the model and the data, and by augmenting the model with an attention mechanism (GA-RNNG) to enable closer inspection. We find that explicit modeling of composition is crucial for achieving the best performance. Through the attention mechanism, we find that headedness plays a central role in phrasal representation (with the model's latent attention largely agreeing with predictions made by hand-crafted head rules, albeit with some important differences). By training grammars without nonterminal labels, we find that phrasal representations depend minimally on nonterminals, providing support for the endocentricity hypothesis.

연구 동기 및 목표

• 데이터로부터 RNNGs가 문장 구조와 구성에 관해 어떤 문법 지식을 학습하는지 조사하기.
• 내부 중심성과 헤드 중심성과 같은 언어학적 가설을 모델 제거 실험과 해석 가능성 도구를 통해 검증하기.
• 구성 함수에 게이트드 어텐션 메커니즘(GA-RNNG)을 도입하여 구성 요소가 어절 표현에 기여하는 방식을 시각화함으로써 RNNGs의 해석 가능성 향상하기.
• 비단말 범주 레이블이 어절 표현에서 의미 있는 문법 정보를 제공하는지 평가하기.
• 모델 분석과 개선을 통해 감독적 어절 구조 파싱 및 의존성 파싱에서 최신 기준 성능를 달성하기.

제안 방법

• 파싱 및 언어 모델링 성능에 있어 구성 함수의 필요성을 평가하기 위해 RNNG의 구성 함수를 제거한다.
• RNNG의 구성 함수에 게이트드 어텐션 메커니즘(GA-RNNG)을 도입하여 어텐션 가중치가 여러 구성 요소에 걸쳐 분포될 수 있도록 한다.
• GA-RNNG의 어텐션 벡터를 사용하여 학습된 헤드 중심성과 수작업 헤드 규칙를 비교하고, 다중 헤드 표현을 분석한다.
• 비단말 레이블 없이 RNNG 변형 모델을 훈련시켜 어절 표현이 범주 레이블에 의존하는지 평가한다.
• t-SNE를 사용하여 학습된 어절 표현을 시각화하고, PPs 및 SBARs와 같은 문법 범주의 군집 패턴을 분석한다.
• Penn Treebank(PTB)에서 감독적 파싱 및 의존성 파싱을 위해 모델을 훈련하고 평가하며, F1, UAS, LAS 점수를 보고한다.

실험 결과

연구 질문

• RQ1 RNNGs에서 높은 파싱 및 언어 모델링 성능를 달성하기 위해 구성 함수는 얼마나 중요한가?
• RQ2 RNNGs는 어느 정도 헤드 중심성을 학습하는가? 그리고 그 어텐션 메커니즘은 언어학적 헤드 규칙과 얼마나 일치하는가?
• RQ3 비단말 범주 레이블이 어절 표현에서 의미 있는 문법 정보를 제공하는가, 아니면 불필요한가?
• RQ4 RNNGs는 레이블 지도 없이도 괄호 표기만으로 NP, VP, PP와 같은 문법 범주를 발견할 수 있는가?
• RQ5 문법 구성 요소의 표현은 어떻게 군집되며, 어떤 의미적 차이를 포착하는가?

주요 결과

• 구성 함수는 RNNG 성능에 필수적이다. 이를 제거하면 파싱 정확도가 극적으로 떨어지며, 이는 구성 함수가 문법적 구조를 모델링하는 데 핵심적인 역할을 한다는 것을 확인한다.
• GA-RNNG 어텐션 메커니즘은 언어학적 헤드 규칙과 대부분 일치한다. 헤드를 높은 정확도로 식별하지만, 어지간히 여러 구성 요소에 걸쳐 어텐션 가중치가 분포되어 있다.
• 어절 표현은 비단말 레이블에 거의 의존하지 않으며, 이는 문법적 구조가 주로 헤드에 의해 결정된다는 내부 중심성 가설을 지지한다.
• 비단말 레이블이 없는 모델조차도 강력한 성능를 기록하며, 이는 괄호 표기와 구성만으로도 효과적인 문법 표현이 가능하다는 것을 시사한다.
• GA-RNNG는 의미적 차이를 의미 있게 학습한다. 예를 들어 'because'와 'of' 같은 단어를 바탕으로 PPs와 SBARs를 군집화함으로써 원인관계나 소유 관계와 같은 의미 역할을 반영한다.
• 앙상블 없이도 단일 RNNG 변형 모델이 PTB에서 최신 기준 감독적 파싱(93.6 F1)을 달성하고, 높은 의존성 파싱 점수(95.8 UAS, 94.6 LAS)를 기록함으로써, 최소한의 아키텍처 복잡성으로도 뛰어난 성능를 보여준다.