[논문 리뷰] Attentive Tensor Product Learning for Language Generation and Grammar Parsing.

Qiuyuan Huang, Li Deng외 3명|arXiv (Cornell University)|2018. 02. 20.

Topic Modeling참고 문헌 11인용 수 3

한 줄 요약

이 논문은 비지도 역할 분리 벡터와 주의 메커니즘을 사용하여 구조적 문법 표현을 신경망 모델에 통합하는 새로운 딥러닝 아키텍처인 Attentive Tensor Product Learning (ATPL)을 소개한다. TPR(텐서 곱 표현)를 LSTMs와 피드포워드 네트워크와 결합함으로써 ATPL은 이미지 캡션 생성, POS 태깅, 구성 구문 분석 등의 작업에서 최고 성능을 기록하며 언어 생성 및 구문 분석 작업에서 성능을 향상시킨다.

ABSTRACT

This paper proposes a new architecture - Attentive Tensor Product Learning (ATPL) - to represent grammatical structures in deep learning models. ATPL is a new architecture to bridge this gap by exploiting Tensor Product Representations (TPR), a structured neural-symbolic model developed in cognitive science, aiming to integrate deep learning with explicit language structures and rules. The key ideas of ATPL are: 1) unsupervised learning of role-unbinding vectors of words via TPR-based deep neural network; 2) employing attention modules to compute TPR; and 3) integration of TPR with typical deep learning architectures including Long Short-Term Memory (LSTM) and Feedforward Neural Network (FFNN). The novelty of our approach lies in its ability to extract the grammatical structure of a sentence by using role-unbinding vectors, which are obtained in an unsupervised manner. This ATPL approach is applied to 1) image captioning, 2) part of speech (POS) tagging, and 3) constituency parsing of a sentence. Experimental results demonstrate the effectiveness of the proposed approach.

연구 동기 및 목표

• 딥러닝과 명시적 언어적 구조 간 격차를 해소하기 위해 신경망 아키텍처에 상징적 문법 규칙를 통합하는 것.
• 표현된 언어적 지도 없이도 문법적 역할을 포착할 수 있는 비지도 학습을 통한 역할 분리 벡터 학습을 가능하게 하는 것.
• 표준 딥러닝 모델인 LSTMs와 피드포워드 네트워크와 같은 모델들과 TPR(텐서 곱 표현)를 통합하는 미분 가능한 프레임워크를 개발하는 것.
• TPR 기반 표현을 통해 문법적 구조를 명시적으로 모델링하여 언어 생성 및 구문 분석 작업의 성능을 향상시키는 것.
• 이식 가능성을 평가하기 위해 다양한 NLP 작업, 특히 이미지 캡션 생성, POS 태깅, 구성 구문 분석에서 ATPL의 효과성을 평가하는 것.

제안 방법

• 단어 임베딩과 역할 분리 벡터를 분포적이고 구성적으로 조합하여 문법적 구조를 텐서 곱 표현(TPR)을 통해 인코딩하는 방식.
• 원시 텍스트에서 비지도 학습 목표를 사용하여 역할 분리 벡터를 학습함으로써 종속성 또는 구성 트리의 애너테이션 없이도 문법적 역할을 추론할 수 있도록 하는 방식.
• 동적으로 TPR 표현을 계산하기 위해 주의 메커니즘을 도입하여 시퀀스 처리 중 관련된 역할과 단어에 집중할 수 있도록 하는 방식.
• 표준 딥러닝 아키텍처, 즉 장기 기억 순환 신경망(LSTM)과 피드포워드 신경망(FFNN)에 TPR 모듈을 통합하여 엔드 투 엔드 학습을 가능하게 하는 방식.
• TPR 연산을 통해 역전파가 가능하도록 설계된 미분 가능한 아키텍처를 설계하여 단어 임베딩, 역할 분리 벡터, 작업 전용 헤드를 함께 최적화할 수 있도록 하는 방식.
• 하류 NLP 작업을 위한 인코더-디코더 및 시퀀스 레이블링 프레임워크에 ATPL 모듈을 플러그인 컴ponent로 적용하는 방식.

실험 결과

연구 질문

• RQ1 비지도 학습을 통한 역할 분리 벡터 학습이 언어 처리 작업의 성능 향상에 기여할 정도로 효과적으로 문법적 역할을 포착할 수 있는가?
• RQ2 TPR 기반의 구조적 표현을 통합함으로써 신경망 모델의 언어 생성 및 구문 분석 성능 향상 정도는 어느 정도인가?
• RQ3 주의 메커니즘이 강화된 TPR 계산 방식은 시퀀스 모델링 중 문법적 역할에 집중하는 능력을 어떻게 향상시키는가?
• RQ4 ATPL은 이미지 캡션 생성, POS 태깅, 구성 구문 분석과 같은 다양한 NLP 작업에서 일관된 성능 향상을 보이며 일반화 가능한가?
• RQ5 TPR를 통한 상징적 문법 통합은 표준 신경망 아키텍처에 비해 더 해석 가능하고 강건한 표현을 제공하는가?

주요 결과

• ATPL은 TPR를 통해 문법적 구조를 명시적으로 모델링함으로써 이미지 캡션 생성 벤치마크에서 최고 성능을 기록한다.
• 표현된 종속성 애너테이션 없이도 문법적 역할을 포착하는 비지도 역할 분리 벡터를 활용함으로써 POS 태깅 정확도가 향상된다.
• 구성 구문 분석 결과에서 ATPL은 TPR를 통해 계층적 문법적 구조를 더 잘 포착함으로써 표준 신경망 모델을 능가한다.
• 제거 실험 결과에서 비지도 역할 분리와 주의 메커니즘이 강화된 TPR 계산 방식이 성능 향상에 모두 핵심적인 역할을 한다는 것이 확인되었다.
• LSTM과 FFNN에 TPR를 통합함으로써 모든 평가된 작업에서 일관된 성능 향상이 이루어졌으며, 이는 접근 방식의 모듈성과 효과성을 입증한다.