[논문 리뷰] Top-down Tree Long Short-Term Memory Networks

Xingxing Zhang, Liang Lu외 1명|arXiv (Cornell University)|2015. 10. 31.

Topic Modeling참고 문헌 59인용 수 11

한 줄 요약

이 논문은 트리LSTM와 LdTreeLSTM를 제안하며, 네 가지 특수화된 LSTM 유닛을 통해 왼쪽 및 오른쪽 종속어를 명시적으로 표현함으로써 문장 내 의존 구조를 모델링하는 데 기반한 신경망 아키텍처를 확장한다. 이 모델은 MSR 문장 완성 벤치마크에서 최고 성능을 기록하였고, 의존 구조 분석에서 강력한 재순서 정렬 능력을 보이며, 샘플링을 통한 엔드 투 엔드 트리 생성도 가능하다.

ABSTRACT

Long Short-Term Memory (LSTM) networks, a type of recurrent neural network with a more complex computational unit, have been successfully applied to a variety of sequence modeling tasks. In this paper we develop Tree Long Short-Term Memory (TreeLSTM), a neural network model based on LSTM, which is designed to predict a tree rather than a linear sequence. TreeLSTM defines the probability of a sentence by estimating the generation probability of its dependency tree. At each time step, a node is generated based on the representation of the generated sub-tree. We further enhance the modeling power of TreeLSTM by explicitly representing the correlations between left and right dependents. Application of our model to the MSR sentence completion challenge achieves results beyond the current state of the art. We also report results on dependency parsing reranking achieving competitive performance.

연구 동기 및 목표

• 선형 시퀀스가 아닌 의존 트리 생성을 추정함으로써 문장의 확률을 예측하는 신경망 모델을 개발하는 것.
• 특수화된 LSTM 유닛을 사용하여 문법적 구조 내 왼쪽 및 오른쪽 종속어 간의 상관관계를 명시적으로 모델링하는 것.
• 학습된 모델에서 샘플링을 통해 엔드 투 엔드 트리 생성을 가능하게 하여 문장 단순화와 같은 응용 분야를 지원하는 것.
• n-그램 및 피드포워드 모델의 한계를 극복하여 인위적인 깊이 제약 없이 장거리 의존성을 포착하는 것.
• 의존 특성에 대한 수동적인 특징 공학을 피하기 위해 문법적 구조를 모델 아키텍처에 직접 통합하는 것.

제안 방법

• 모델은 네 가지 유형의 의존 간선(왼쪽, 오른쪽, 비어휘적 왼쪽, 비어휘적 오른쪽)을 표현하기 위해 네 개의 서로 다른 LSTM 유닛을 사용하여 구조적인 트리 생성을 가능하게 한다.
• 각 타임스텝에서, 이미 생성된 부분 트리의 은닉 표현을 기반으로 다음 단어를 예측하기 위해 한 개의 LSTM만 활성화된다.
• 네 개의 LSTM에서 유도된 은닉 상태를 공유함으로써 다양한 간선 유형 간에 일관된 부분 트리 표현을 유지한다.
• 조건부 확률을 간선 유형과 단어 예측에 대해 인수분해함으로써 문장의 확률을 추정한다.
• 트리 생성은 네 개의 이진 분류기(Add-Left, Add-Right, Add-Nx-Left, Add-Nx-Right)를 사용하여 각 단계에서 추가할 간선 유형을 결정함으로써 수행된다.
• 분류기는 이전 은닉 상태와 현재 노드의 임bedding을 사용하여 왼쪽 또는 오른쪽 종속어를 추가할지 여부를 예측함으로써 제어 가능한 트리 성장을 가능하게 한다.

실험 결과

연구 질문

• RQ1 LSTM 기반 신경망 아키텍처가 선형 시퀀스가 아닌 구조적인 의존 트리를 효과적으로 모델링하고 생성할 수 있는가?
• RQ2 왼쪽 및 오른쪽 종속어 간의 상관관계를 명시적으로 모델링하면 언어 모델링 및 구조 분석 작업 성능에 어떤 영향을 미치는가?
• RQ3 구조적인 트리 생성을 활용함으로써 이 모델이 문장 완성 과제에서 최고 성능을 달성할 수 있는가?
• RQ4 이전의 신경망 구조 분석기와 비교했을 때, 이 모델이 의존 구조 분석 출력을 재순서 정렬하는 데 얼마나 효과적인가?
• RQ5 이 모델이 샘플링을 통해 일관되고 문법적으로 타당한 의존 트리를 생성할 수 있는가? 이는 텍스트 생성 응용 분야에 어떻게 기여할 수 있는가?

주요 결과

• LdTreeLSTM는 MSR 문장 완성 챌린지에서 이전에 발표된 결과를 초월하는 최고 성능을 기록하였다.
• 의존 구조 분석 재순서 정렬 과제에서 LdTreeLSTM는 MSTParser 기준선을 능가하며, S-LSTM 및 NN 파서 수준의 성능에 근접하였다.
• Add-Left 분류기에서 94.3%의 정확도, Add-Right에서 92.6%, Add-Nx-Left에서 93.4%, Add-Nx-Right에서 96.0%를 기록하여 강력한 간선 예측 능력을 입증하였다.
• 사전 학습된 GLOVE 임베딩을 사용하면 TreeLSTM보다 약간 향상된 성능를 기록했지만, LdTreeLSTM를 능가하지 못하여 후자의 아키텍처가 더 효과적임을 시사하였다.
• PTB 테스트 세트에서 LdTreeLSTM는 UAS 88.7%와 LAS 85.6%를 기록하여 MSTParser를 능가하며 의존 구조 분석에서 뛰어난 일반화 능력을 보였다.
• 모델는 일관된 의존 트리를 성공적으로 생성하였으며, 문장 압축 및 단순화와 같은 텍스트 생성 응용 분야에서의 잠재력을 입증하였다.