[논문 리뷰] Abstractors and relational cross-attention: An inductive bias for explicit relational reasoning in Transformers

Awni Altabaa, Taylor W. Webb외 2명|arXiv (Cornell University)|2023. 04. 01.

Advanced Text Analysis Techniques인용 수 6

한 줄 요약

이 논문은 관계적 정보를 개체 수준의 특징에서 분리하여 명시적인 관계 추론을 가능하게 하는 새로운 Transformer 모듈인 Abstractor를 소개한다. 이 방법은 관계적 순서-순서 변환 작업에서 뛰어난 샘플 효율성 향상을 이루었으며, 표준 Transformer에 비해 수학적 문제 해결 벤치마크에서 성능과 샘플 효율성에 있어 미세한 그러나 일관된 향상을 보였다.

ABSTRACT

An extension of Transformers is proposed that enables explicit relational reasoning through a novel module called the Abstractor. At the core of the Abstractor is a variant of attention called relational cross-attention. The approach is motivated by an architectural inductive bias for relational learning that disentangles relational information from object-level features. This enables explicit relational reasoning, supporting abstraction and generalization from limited data. The Abstractor is first evaluated on simple discriminative relational tasks and compared to existing relational architectures. Next, the Abstractor is evaluated on purely relational sequence-to-sequence tasks, where dramatic improvements are seen in sample efficiency compared to standard Transformers. Finally, Abstractors are evaluated on a collection of tasks based on mathematical problem solving, where consistent improvements in performance and sample efficiency are observed.

연구 동기 및 목표

• 표준 Transformer가 개체와 관계 표현이 뒤섞여 있어 명시적인 관계 추론을 지원하지 못하는 한계를 해결하기 위해.
• 개체 수준의 특징 외부의 정보로부터 관계 정보를 분리하는 아키텍처의 인덕티브 바이어스인 '관계적 블로킹'을 개발하기 위해.
• Abstractor가 순수한 관계적 순서-순서 변환 작업과 실제 수학적 추론 작업에서 샘플 효율성과 성능을 향상시키는지 평가하기 위해.
• 명시적인 관계 처리를 가능하게 하는 아키텍처 수정이 파rameter 수 증가 외의 성능 향상에도 기여하는지 보여주기 위해.

제안 방법

• Abstractor는 관계적 정보를 개체 표현 간의 관계로 분리하여 계산하는 새로운 어텐션 메커니즘인 관계적 크로스 어텐션을 도입한다.
• 모델은 개체 특징에 종속되지 않는 저차원의 추상적 관계 표현을 학습함으로써 '관계적 블로킹'을 강제한다.
• Abstractor는 인코더와 디코더 사이에 추가 모듈로 통합되어 전용 관계 추론 처리를 가능하게 한다.
• 표현 능력의 트레이드오프를 탐색하기 위해 부분적으로 관계적인 구성 등 다양한 아키텍처 변형을 지원한다.
• 실험은 문자 수준의 토크나이제이션과 교사-강요 정확도를 사용하여 합성 및 수학적 추론 작업의 성능을 평가한다.
• 모델 비교는 표준 및 넓은 너비의 Transformer를 베이스라인으로 포함하여 파라미터 수를 통제한다.

(a) $E\leftarrow\mathrm{SelfAttention}(X)$

실험 결과

연구 질문

• RQ1 모듈러한 확장이 개체 수준의 특징에서 관계적 정보를 분리함으로써 Transformer에 명시적인 관계 추론을 가능하게 할 수 있는가?
• RQ2 표준 Transformer에 비해 순수한 관계적 순서-순서 변환 작업에서 Abstractor가 샘플 효율성을 향상시키는가?
• RQ3 Abstractor 기반 아키텍처는 실제 수학적 문제 해결 작업에서 일관된 성능 향상을 달성할 수 있는가?
• RQ4 성능 향상은 모델 용량 증가가 아닌 아키텍처의 인덕티브 바이어스 때문인가?

주요 결과

• 순수한 관계적 순서-순서 변환 작업에서, Abstractor 기반 모델은 표준 Transformer에 비해 샘플 효율성에서 극적인 향상을 보였다.
• 수학적 문제 해결 작업에서, Abstractor 기반 모델은 표준 및 넓은 너비의 Transformer에 비해 정확도와 샘플 효율성에서 작지만 일관된 향상을 보였다.
• 모델은 모든 다섯 가지 수학적 작업에서 표준 Transformer와 더 큰 'Transformer+' 모델을 일관되게 능가했으며, 이는 성능 향상이 아키텍처 설계 때문임을 시사한다.
• 결과는 Abstractor가 부분적으로 관계적 처리 경로를 가능하게 하며, 인코더는 일반적인 입력 처리를 담당하고 Abstractor는 관계 추론에 전용된다는 것을 시사한다.
• 실험 결과는 명시적인 관계적 인덕티브 바이어스가 특히 낮은 데이터 환경에서 일반화 능력을 향상시킨다는 것을 보여준다.
• 코드와 실험 로그는 재현 가능성을 위해 공개되어 있다.

(b) $A\leftarrow\mathrm{RelationalCrossAttention(X,S)}$