[논문 리뷰] A Neural-Symbolic Approach to Natural Language Tasks.

Qiuyuan Huang, Paul Smolensky외 3명|arXiv (Cornell University)|2017. 10. 29.

Multimodal Machine Learning Applications참고 문헌 19인용 수 4

한 줄 요약

이 논문은 텐서 곱 표현(TPR)을 딥러닝과 융합하여 문법적 구조, 예를 들어 문법 구조와 품사 태깅을 명시적으로 모델링할 수 있는 새로운 신경-기호 아키텍처인 텐서 곱 생성 네트워크(TPGN)를 소개한다. 비지도 학습 방식으로 역할 분리 벡터를 학습하고 이를 LSTMs와 결합함으로써 TPGN은 구조적 문장을 생성하고 어절 구조를 추출할 수 있으며, 이미지 캡션 생성, 품사 분류, 문법 분석 등에서 향상된 성능을 보여준다.

ABSTRACT

Deep learning (DL) has in recent years been widely used in natural language processing (NLP) applications due to its superior performance. However, while natural languages are rich in grammatical structure, DL has not been able to explicitly represent and enforce such structures. This paper proposes a new architecture to bridge this gap by exploiting tensor product representations (TPR), a structured neural-symbolic framework developed in cognitive science over the past 20 years, with the aim of integrating DL with explicit language structures and rules. We call it the Tensor Product Generation Network (TPGN), and apply it to 1) image captioning, 2) classification of the part of speech of a word, and 3) identification of the phrase structure of a sentence. The key ideas of TPGN are: 1) unsupervised learning of role-unbinding vectors of words via a TPR-based deep neural network, and 2) integration of TPR with typical DL architectures including Long Short-Term Memory (LSTM) models. The novelty of our approach lies in its ability to generate a sentence and extract partial grammatical structure of the sentence by using role-unbinding vectors, which are obtained in an unsupervised manner. Experimental results demonstrate the effectiveness of the proposed approach.

연구 동기 및 목표

• 딥러닝이 자연어에서 문법적 구조를 명시적으로 표현하고 강제하는 데에 한계가 있음을 해결하기 위해.
• 신경망과 기호적 언어 규칙 사이의 격차를 좁히기 위해 깊이 있는 학습 아키텍처에 구조적 표현을 통합하기 위해.
• 분산된 해석 가능 방식으로 문법적 역할을 인코딩하는 역할 분리 벡터를 비지도 학습으로 학습할 수 있도록 하기 위해.
• 딥러닝의 표현 능력과 기호 문법의 구조적 불변성을 결합하는 통합 프레임워크를 개발하기 위해.
• 문법 인식이 필요한 핵심 NLP 작업, 예를 들어 이미지 캡션 생성, 품사 태깅, 어절 구조 식별에 대해 접근 방식을 평가하기 위해.

제안 방법

• TPGN은 단어와 그 문법적 역할을 인코딩하기 위해 텐서 곱 표현(TPR)을 사용하여 의미의 구조적 조합을 가능하게 한다.
• 비지도 학습 절차를 통해 역할 분리 벡터를 학습함으로써 분산 벡터 공간에서 콘텐츠와 역할을 분리할 수 있도록 한다.
• TPR를 장기 순환 신경망(LSTM) 네트워크와 통합하여 문법적 구조를 유지하면서 시퀀스를 생성한다.
• 모델은 문장의 계층적 구조를 TPR로 표현하여 어절 경계와 문법 구성요소를 명시적으로 파싱할 수 있도록 한다.
• TPR 구성 요소와 딥 네트워크 파rameter가 함께 최적화되는 엔드 투 엔드 학습을 지원한다.
• 모델은 제어 가능한 문법적 구조를 가진 문장을 생성하고 입력 시퀀스에서 부분적인 문법적 구조를 추출할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 비지도 학습을 통해 문법을 명시적으로 강제하지 않는 한도에서 딥러닝 모델이 자연어 생성에서 문법적 구조를 효과적으로 학습하고 강제할 수 있는가?
• RQ2 비지도 학습으로 유도된 역할 분리 벡터가 정확한 품사 분류를 지원하는 데 얼마나 효과적인가?
• RQ3 표준 신경망에 비해 TPR 기반 표현이 문장 내 어절 구조 모델링에 얼마나 향상된 성능을 보이는가?
• RQ4 TPR와 LSTMs의 통합이 문법적 일관성을 유지하면서도 이미지 캡션 생성에서 더 높은 성능을 낼 수 있는가?
• RQ5 표현된 언어적 구조를 포괄하는 데 있어 TPR 구성 요소의 비지도 학습 방식이 지도 또는 약한 지도 학습 대비 얼마나 우수한가?

주요 결과

• TPGN은 표준 LSTM 기준선에 비해 더 문법적으로 일관되고 구조적으로 정확한 캡션을 생성함으로써 이미지 캡션 생성에서 경쟁적인 성능을 달성했다.
• 모델은 비지도 학습을 통해 유도된 역할 분리 벡터를 활용하여 효과적으로 문법적 역할을 포착함으로써 품사 태깅에서 뛰어난 성능을 보였다.
• 어절 구조 식별은 모델에 의해 성공적으로 수행되었으며, TPR 덕분에 생성된 또는 입력된 시퀀스에서 문법적 구성요소를 명시적으로 추출할 수 있었다.
• 표현된 문법적 데이터가 없는 조건에서 비지도 학습을 통해 얻은 역할 분리 벡터가 문법적 역할을 효과적으로 포착하는 데 성공했다.
• TPR와 LSTMs의 통합은 문장 생성 과정에서 구조적 일관성을 유지하는 데 기여하여 문법 오류를 감소시켰다.
• 결과적으로 신경학습과 TPR를 통한 기호적 구조의 통합은 구조화된 NLP 작업의 해석 가능성과 성능을 향상시킨다.