[논문 리뷰] Question-Answering with Grammatically-Interpretable Representations

Hamid Palangi, Paul Smolensky외 2명|arXiv (Cornell University)|2017. 05. 23.

Topic Modeling인용 수 11

한 줄 요약

이 논문은 텐서 곱 표현(TPRs)을 사용하여 해석 가능한 문법적으로 해석 가능한 내부 표현을 생성하는 질문-답변 모델인 텐서 곱 순환 신경망(TPRN)을 소개한다. 소프트 어텐션을 통해 기호(단어 의미를 나타냄)와 역할(문법 기능을 근사함)을 바인딩하는 방식으로 학습함으로써, TPRN은 언어적 지도 없이도 SQuAD 성능을 최고 수준으로 달성하면서도 은닉 상태의 언어학적 해석을 가능하게 한다.

ABSTRACT

We introduce an architecture, the Tensor Product Recurrent Network (TPRN). In our application of TPRN, internal representations learned by end-to-end optimization in a deep neural network performing a textual question-answering (QA) task can be interpreted using basic concepts from linguistic theory. No performance penalty need be paid for this increased interpretability: the proposed model performs comparably to a state-of-the-art system on the SQuAD QA task. The internal representation which is interpreted is a Tensor Product Representation: for each input word, the model selects a symbol to encode the word, and a role in which to place the symbol, and binds the two together. The selection is via soft attention. The overall interpretation is built from interpretations of the symbols, as recruited by the trained model, and interpretations of the roles as used by the model. We find support for our initial hypothesis that symbols can be interpreted as lexical-semantic word meanings, while roles can be interpreted as approximations of grammatical roles (or categories) such as subject, wh-word, determiner, etc. Fine-grained analysis reveals specific correspondences between the learned roles and parts of speech as assigned by a standard tagger (Toutanova et al. 2003), and finds several discrepancies in the model's favor. In this sense, the model learns significant aspects of grammar, after having been exposed solely to linguistically unannotated text, questions, and answers: no prior linguistic knowledge is given to the model. What is given is the means to build representations using symbols and roles, with an inductive bias favoring use of these in an approximately discrete manner.

연구 동기 및 목표

• 언어학 이론에 의해 해석 가능한 내부 표현을 생성하는 질문-답변를 위한 딥 러닝 모델을 개발하는 것.
• 레이블이 없는 텍스트, 질문, 답변만으로 훈련된 신경망이 명시적 지도 없이도 어휘 의미와 문법적 역할과 같은 언어적 구조를 표현할 수 있는지 조사하는 것.
• 해석 가능성은 도전적인 벤치마크인 SQuAD에서 성능을 저하시키지 않으면서도 달성될 수 있음을 보여주는 것.
• 학습된 표현이 문법적 품사와 문법적 역할과 같은 기존 언어학 개념과 의미적으로 일치하는지 검증하는 것.

제안 방법

• 모델는 BiDAF의 LSTM 기반 순환 레이어를 텐서 곱 순환 유닛(TPRUs)으로 대체하며, 이는 텐서 곱을 통해 기호 벡터와 역할 벡터를 결합하여 단어를 표현한다.
• 각 단어는 어휘-의미적 의미를 코딩하는 기호(기호)와 문법적 기능을 코딩하는 역할(역할)의 텐서 곱으로 구성된 TPR로 표현된다. 이는 소프트 어텐션을 통해 학습된다.
• 모델는 SQuAD 데이터셋에서 엔드 투 엔드 훈련을 수행하며, 스파니시 예측 정확도 최적화와 함께 기호 및 역할 벡터를 동시에 학습한다.
• 특정 단어에 대해 선택된 기호와 역할을 분석함으로써 해석 가능성이 달성되며, 이는 문법 품사와 문법적 역할과 같은 언어학적 카테고리로 매핑 가능하다.
• 아키텍처는 기호와 역할의 이산적 배치를 선호하는 내재된 인덕티브 바이어스를 내장하고 있어, 성능 유지와 함께 해석 가능성을 증진시킨다.
• 세분화된 분석은 학습된 역할이 표준 품사 태거 출력과 비교해 강한 상관관계를 보이며, 특히 복잡하거나 모호한 맥락에서 향상된 성능을 보임을 보여준다.

실험 결과

연구 질문

• RQ1 레이블이 없는 텍스트, 질문, 답변만으로 훈련된 딥 네트워크가 어휘 의미와 문법적 역할과 같은 언어학적 개념에 의미적으로 대응하는 내부 표현을 학습할 수 있는가?
• RQ2 모델가 학습한 기호가 어휘-의미적 의미와 얼마나 일치하는가, 그리고 역할이 주어, 목적어와 같은 문법적 기능과 얼마나 일치하는가?
• RQ3 명시적 언어학적 지도 없이도 모델의 내부 구조가 학습된 문법과 의미를 반영하는가?
• RQ4 언어학 이론을 통해 모델 표현의 해석 가능성을 검증할 수 있으며, 이는 모델 행동에 대한 이해를 향상시키는가?

주요 결과

• TPRN 모델은 SQuAD 질문-답변 벤치마크에서 최고 성능을 달성하였으며, 해석 가능성에 대한 성능 손실가 없음을 입증하였다.
• 학습된 기호는 일관되게 의미적으로 관련된 단어들을 군집화하며, 이는 기호가 어휘-의미적 의미를 코딩하고 있음을 지지하는 가설을 뒷받침한다.
• 학습된 역할은 주어, 목적어, wh-어휘와 같은 언어학 이론의 문법적 역할과 강한 상관관계를 보이며, 모델이 문법적 구조를 습득하고 있음을 시사한다.
• 세분화된 분석은 모델의 역할 할당이 복잡하거나 모호한 맥락에서 표준 품사 태거보다 더 잘 기능적 문법적 역할을 포착하고 있음을 드러낸다.
• 모델의 내부 표현은 원시 텍스트와 지도 없이 엔드 투 엔드로 학습되었음에도 불구하고, 구조화된 기호 유사 표현으로 해석 가능하다.
• 연구는 추상적인 언어학 개념—예를 들어 품사와 문법적 역할—이 명시적 언어학적 지도 없이도 임무 기반 학습에서 자연스럽게 나타날 수 있다는 가설에 대한 실증적 근거를 제공한다.