[논문 리뷰] Enhancing the Transformer with Explicit Relational Encoding for Math Problem Solving

Imanol Schlag, Paul Smolensky외 4명|arXiv (Cornell University)|2019. 10. 15.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 26인용 수 37

한 줄 요약

이 논문은 TP-Transformer를 소개하며, TP-Attention을 통해 Tensor-Product Representations로 관계 구조를 명시적으로 인코딩하고, Mathematics Dataset의 수학 단어 문제에서 최첨단 결과를 달성합니다.

ABSTRACT

We incorporate Tensor-Product Representations within the Transformer in order to better support the explicit representation of relation structure. Our Tensor-Product Transformer (TP-Transformer) sets a new state of the art on the recently-introduced Mathematics Dataset containing 56 categories of free-form math word-problems. The essential component of the model is a novel attention mechanism, called TP-Attention, which explicitly encodes the relations between each Transformer cell and the other cells from which values have been retrieved by attention. TP-Attention goes beyond linear combination of retrieved values, strengthening representation-building and resolving ambiguities introduced by multiple layers of standard attention. The TP-Transformer's attention maps give better insights into how it is capable of solving the Mathematics Dataset's challenging problems. Pretrained models and code will be made available after publication.

연구 동기 및 목표

• 수학 문제에서 신경망 모델이 구성적으로 추론하도록 돕는 명시적 관계 인코딩의 동기를 부여한다.
• Tensor-Product Representations (TPRs)를 사용하여 관계 구조를 인코딩하는 Transformer 변형을 개발한다.
• TP-Attention이 크고 다양한 Mathematics Dataset에서 성능을 향상시킨다는 것을 증명한다.

제안 방법

• 표준 멀티헤드 어텐션을 TP-Multi-Head Attention으로 대체하고, 각 헤드마다 역할/관계 벡터를 출력한다.
• 어텐션 filler(값)을 관계 벡터에 텐서곱 바인딩으로 결합하고, 효율성을 위해 Hadamard 형태로 축약한다.
• 헤드 바인딩을 집계하여 구조화된 구성요소에 대한 Tensor-Product Representation을 형성한다.
• TP-Attention을 인코더에 두고 표준 디코더(TP-Attention이 있는)와 함께 Transformer 유사 인코더-디코더 아키텍처를 유지한다.
• 목표 시퀀스에 대한 교차 엔트로피로 감독 학습을 사용하여 Mathematics Dataset에서 엔드투엔드로 학습한다.

실험 결과

연구 질문

• RQ1 TP-Attention를 통한 명시적 관계 인코딩이 표준 어텐션에 비해 수학 문제에서 구조화된 관계의 모델링을 개선하는가?
• RQ2 TP-Transformer가 작업 특이적 구조 편향 없이 의미 있는 관계 역할을 학습함으로써 Mathematics Dataset에서 최첨단 정확도를 달성할 수 있는가?
• RQ3 학습된 관계 벡터와 어텐션 맵이 수학 문제에 대한 모델의 추론에 대해 어떤 통찰을 제공하는가?

주요 결과

• 56개의 문제 모듈에 걸쳐 Mathematics Dataset에서 새로운 최첨단 정확도를 달성한다.
• TP-Attention은 filler를 역할 벡터와 결합하여 표준 어텐션보다 더 모호하지 않고 구성적 표현을 가능하게 한다.
• 학습된 역할의 분석은 구조적 위치에 따른 해석 가능한 클러스터링을 보여주며(예: 분자/분모 역할) 어텐션 맵은 second-argument-of 관계와 같은 관계 추론을 드러낸다.
• TP-Transformer의 개별 어텐션 헤드는 주의된 상태의 거의 전체 정보 내용을 인코드하는데, 부분공간 제한에 대한 일부 이전 주장의 반대를 보인다.
• TP-Transformer는 쌓인 어텐션 계층에서 바인딩 문제를 해결하여 계층적 표현의 구조적 모호성을 감소시킨다.