[논문 리뷰] RNNs Implicitly Implement Tensor Product Representations

R. Thomas McCoy, Tal Linzen외 2명|arXiv (Cornell University)|2018. 12. 20.

Topic Modeling인용 수 41

한 줄 요약

이 논문은 Tensor Product Decomposition Networks (TPDNs)를 도입하여 시퀀스와 문장의 RNN 인코딩이 텐서 곱 표현으로 근사될 수 있음을 보여주고, 신경 표현에서 구조가 언제 그리고 어떻게 나타나는지 드러낸다.

ABSTRACT

Recurrent neural networks (RNNs) can learn continuous vector representations of symbolic structures such as sequences and sentences; these representations often exhibit linear regularities (analogies). Such regularities motivate our hypothesis that RNNs that show such regularities implicitly compile symbolic structures into tensor product representations (TPRs; Smolensky, 1990), which additively combine tensor products of vectors representing roles (e.g., sequence positions) and vectors representing fillers (e.g., particular words). To test this hypothesis, we introduce Tensor Product Decomposition Networks (TPDNs), which use TPRs to approximate existing vector representations. We demonstrate using synthetic data that TPDNs can successfully approximate linear and tree-based RNN autoencoder representations, suggesting that these representations exhibit interpretable compositional structure; we explore the settings that lead RNNs to induce such structure-sensitive representations. By contrast, further TPDN experiments show that the representations of four models trained to encode naturally-occurring sentences can be largely approximated with a bag of words, with only marginal improvements from more sophisticated structures. We conclude that TPDNs provide a powerful method for interpreting vector representations, and that standard RNNs can induce compositional sequence representations that are remarkably well approximated by TPRs; at the same time, existing training tasks for sentence representation learning may not be sufficient for inducing robust structural representations.

연구 동기 및 목표

• RNN이 구성적 기호 구조를 학습할 수 있다는 아이디어를 제시한다.
• Tensor Product Decomposition Network (TPDN)을 제안하고 검증하여 기존 벡터 인코딩을 텐서 곱 표현으로 근사한다.

제안 방법

• TPDN을 정의하고 구현하여 텐서 곱을 통해 주어진 인코딩을 재구성하는 filler와 role을 학습한다.
• 일방향, 양방향, 트리 기반 아키텍처 전반에서 합성 숫자 시퀀스 자동인코더에 대해 TPDN을 테스트한다.
• 자연어 문장 인코더의 표현이 구조 민감한지 아니면 주로 단어 나열(bag-of-words)와 같은지 평가한다.
• Decoder를 추가 학습하지 않고 TPDN이 주어진 인코더를 얼마나 잘 근사하는지 측정하기 위해 치환 정확도를 사용한다.
• 구조가 표현에 나타나는 방식에 아키텍처와 학습 과제가 어떤 영향을 미치는지 분석한다.

실험 결과

연구 질문

• RQ1 적절한 역할 체계 하에서 시퀀스의 RNN 인코딩이 텐서 곱 표현으로 잘 근사될 수 있는가?
• RQ2 다른 RNN 아키텍처들(일방향, 양방향, 트리 기반)은 서로 다른 구조적 표현을 유도하는가?
• RQ3 문장 임베딩 모델의 표현은 대부분 구조 없이(bag-of-words)인가 아니면 TPR로 감지 가능한 견고한 구조를 보이는가?
• RQ4 인코더 대 디코더 선택, 그리고 학습 작업이 구성적 표현의 학습 가능성에 어떤 영향을 미치는가?
• RQ5 어떤 학습 조건이 RNN에서 구조 민감한 표현의 출현을 촉진하거나 방해하는가?

주요 결과

• TPDNs는 구조 민감한 역할 체계를 가지는 특정 RNN 아키텍처의 인코딩에 대해 매우 근접하게 근사할 수 있다(예: 트리 기반 자동인코더의 트리 위치 역할, 일방향의 경우 양방향 역할).
• 일방향 및 트리 기반 자동인코더는 해당 역할 체계로 잘 근사되며, 양방향 인코더는 테스트된 체계로 일관되게 잘 포착되지 않는다.
• 자연어 문장 인코더(InferSent, Skip-thought, SST, SPINN)에 대해, 단어 나열 역할이 강력하고 때로는 거의 동등한 근사를 제공하여 견고한 구조가 한정적임을 시사한다.
• Decoder 아키텍처가 인코더보다 학습된 표현에 더 큰 영향을 미치는 경향이 있으며 트리 기반 디코더는 트리 기반의 역할 구조를 생성한다.
• 명시적 구조가 요구되는 학습 과제(예: 비평형 정렬이나 교차 배치)일수록 구조 민감한 표현이 강해지는 반면, 정렬과 같은 과제는 단어 나열 표현으로 수렴하는 경향이 있다.