[논문 리뷰] Analogs of Linguistic Structure in Deep Representations

Jacob Andreas, Dan Klein|arXiv (Cornell University)|2017. 07. 25.

Topic Modeling참고 문헌 15인용 수 3

한 줄 요약

이 논문은 자연어를 프로브로 사용하여 벡터 공간 내에서 부정, 결합, 배타적 논리합과 같은 해석 가능한 언어적 유사 구조—예를 들어, 부정, 결합, 배타적 논리합—를 식별함으로써 딥 네ural 네트워크 표현의 조합적 구조를 조사한다. 진리 조건 의미론을 통해 신경 메시지 벡터를 인간의 참조 표현과 정렬함으로써, 저자들은 표현 공간 내 선형 변환과 논리 연산 간의 대응을 발견하였으며, 이는 RNN이 언어 감독 없이도 문법 유사 구조를 자발적으로 개발할 수 있음을 보여준다.

ABSTRACT

We investigate the compositional structure of message vectors computed by a deep network trained on a communication game. By comparing truth-conditional representations of encoder-produced message vectors to human-produced referring expressions, we are able to identify aligned (vector, utterance) pairs with the same meaning. We then search for structured relationships among these aligned pairs to discover simple vector space transformations corresponding to negation, conjunction, and disjunction. Our results suggest that neural representations are capable of spontaneously developing a "syntax" with functional analogues to qualitative properties of natural language.

연구 동기 및 목표

• 언어 데이터 없이 훈련된 딥 네럴 네트워크가 표현 내에서 조합적이고 언어 유사 구조를 갖는지 조사하기.
• 공동 진리 조건을 기반으로 인간이 생성한 참조 표현과 신경 메시지 벡터를 정렬할 수 있는지 확인하기.
• 부정, 결합, 배타적 논리합과 같은 논리 연산에 대응하는 표현 공간 내 기하학적 변환을 발견하고 검증하기.
• 이러한 변환이 선형적이고 해석 가능한지 자연어를 프로브로 사용하여 의미 구조를 해석할 수 있는지 탐색하기.

제안 방법

• 언어 데이터 접근 없이 참조 표현 게임에서 RNN 인코더-디코더 모델을 훈련하여 메시지 벡터를 생성하기.
• 진리 조건 의미론을 사용하여 인간이 생성한 참조 표현의 의미와 논리적 형태를 계산하기.
• 그들의 의미를 일치시켜 신경 메시지 벡터를 인간의 언어 표현과 정렬함으로써 동일한 의미를 가진 (벡터, 언어 표현) 쌍을 생성하기.
• 최소 제곱 추정을 통해 표현 공간 내에서 부정, 결합, 배타적 논리합과 같은 논리 연산을 모델링하는 선형 변환을 학습하기.
• 시험 데이터에서 논리적 기대에 부합하는 예측을 생성하는지 검증함으로써 학습된 연산자를 평가하기.
• 주성분 분석을 사용하여 이러한 변환의 기하학적 구조를 벡터 공간에서 시각화하기.

실험 결과

연구 질문

• RQ1 언어 데이터 없이 훈련된 신경 표현이 제로샷 통신 과제에서 자연어 문법의 功能적 유사 구조를 자발적으로 개발할 수 있는가?
• RQ2 표현 공간 내 선형 변환이 부정, 결합, 배타적 논리합과 같은 논리 연산에 대응하는가?
• RQ3 이러한 학습된 변환이 새로운 예측에 얼마나 잘 일반화되는가? 인간의 논리적 기대와 비교해보면 어떠한가?
• RQ4 자연어를 얼마나 잘 활용하여 신경 표현의 의미를 해석할 수 있는가?

주요 결과

• 모델은 훈련 외부 환경에서도 객체 수준의 의미에 대해 인간의 결정과 90% 일치를 보이며, 인간과 모델 행동 간 강력한 일치를 나타낸다.
• 부정을 위한 선형 변환은 객체 수준에서 논리 예측과 97% 일치를 달성하고, 전체 의미 수준에서는 45% 일치를 기록한다.
• 배타적 논리합의 경우, 객체 수준에서 92% 일치, 의미 수준에서는 19% 일치를 기록하여 부분적이나마 감지 가능한 구조를 보인다.
• 결합의 경우, 객체 수준에서 90% 일치, 의미 수준에서는 37% 일치를 기록하여 측정 가능한 구조이지만 정밀도는 다소 떨어진다.
• 시각화 결과, 부정 변환이 벡터 공간 내 중심점에 대해 대칭하는 것으로 확인되어 기하학적 규칙성을 시사한다.
• 결과적으로 언어 신호 없이 환경 신호만으로 훈련된 RNN이 표현 내에서 이해 가능한 언어 유사 조합적 구조를 개발할 수 있음을 보여준다.