[논문 리뷰] Tree Recurrent Neural Networks with Application to Language Modeling.

Xingxing Zhang, Liang Lu외 1명|arXiv (Cornell University)|2015. 10. 31.

Natural Language Processing Techniques참고 문헌 40인용 수 16

한 줄 요약

이 논문은 문장을 선형적 시퀀스가 아니라 의존성 트리를 예측하는 방식으로 문장을 모델링하는 새로운 순환 신경망인 TreeRNN을 소개한다. 공유된 은닉 상태를 사용하여 점진적으로 왼쪽 및 오른쪽 종속성을 생성함으로써, 기존 모델들과 비교해 향상되거나 경쟁 가능한 성능을 보이며 언어 모델링 과제에서 성능을 향상시킨다.

ABSTRACT

In this paper we develop a recurrent neural network (TreeRNN), which is designed to predict a tree rather than a linear sequence as is the case in conventional recurrent neural networks. Our model defines the probability of a sentence by estimating the generation probability of its dependency tree. We construct the tree incrementally by generating the left and right dependents of a node whose probability is computed using recurrent neural networks with shared hidden layers. Application of our model to two language modeling tasks shows that it outperforms or performs on par with related models.

연구 동기 및 목표

• 선형 시퀀스 대신 의존성 트리를 생성함으로써 문법적 구조를 포착하는 시퀀스 모델링 프레임워크를 개발하는 것.
• 공유된 은닉 상태를 활용한 재귀적 트리 생성을 통해 문장 구조를 모델링하여 언어 모델링 성능을 향상시키는 것.
• 트리 구조적 생성이 언어 모델링 벤치마크에서 더 나은 성능을 내는지 평가하는 것.
• 자연어 처리 분야에서 순환 신경망을 구조적 예측에 활용하는 방법을 탐색하는 것.

제안 방법

• TreeRNN는 각 노드의 왼쪽 및 오른쪽 종속성을 점진적으로 생성함으로써 문장의 의존성 트리를 구성한다.
• 모델은 각 노드의 종속성 확률을 계산하기 위해 공유된 순환 신경망과 공유된 은닉층을 사용한다.
• 생성 과정은 루트에서 시작하여 하위 트리를 확장하는 방식으로 하향식, 재귀적인 방식으로 진행된다.
• 문장의 확률은 트리 구조 내에서 노드 확장의 조건부 확률의 곱으로 계산된다.
• 의존성 트리의 계층적 구조를 활용함으로써 선형 RNN보다 장거리 의존성을 더 효과적으로 포착할 수 있다.

실험 결과

연구 질문

• RQ1 의존성 트리 생성을 통해 문장을 모델링하는 방식이 선형 시퀀스 모델링 대비 언어 모델링 성능 향상에 기여하는가?
• RQ2 트리 노드 간 공유된 은닉 상태 사용이 트리 구조적 RNN의 일반화 및 효율성 향상에 기여하는가?
• RQ3 TreeRNN은 언어 모델링 과제에서 퍼플렉서티 측면에서 기존의 시퀀스 모델링 접근 방식과 비교해 어떻게 성능을 내는가?
• RQ4 트리 구조적 생성 방식이 자연어의 문법적 의존성을 어느 정도 효과적으로 포착하는가?

주요 결과

• TreeRNN는 두 개의 언어 모델링 과제에서 관련 모델들보다 우수하거나 동등한 성능을 기록한다.
• 구조적 트리 생성을 활용함으로써 경쟁 가능한 퍼플렉서티 스코어를 달성한다.
• 공유된 은닉층의 사용으로 트리 노드 간 효율적인 파라미터 공유가 가능하다.
• 순환 신경망을 활용한 점진적 트리 구축은 계층적 문법적 구조를 효과적으로 모델링할 수 있다.