[논문 리뷰] Characterizing Intrinsic Compositionality in Transformers with Tree Projections

Shikhar Murty, Pratyusha Sharma외 2명|arXiv (Cornell University)|2022. 11. 02.

Natural Language Processing Techniques인용 수 13

한 줄 요약

이 논문은 문맥 불변성(SCI)을 측정하여 어떤 트랜스포저의 행동도 트리 구조적 계산 공간으로 매핑하는 파라미터가 없고 비지도 학습 방법을 제안한다. 이는 구간의 표현이 그 맥락에 얼마나 불변적인지 파악한다. 이 방법은 이진 트리 구조와 트리 구조성 점수를 유도하며, 트랜스포저와 어떤 트리 구조적 모델 간의 적합도를 상한선으로 제시한다. 결과적으로 트랜스포저는 학습 과정에서 점점 더 트리 유사성을 띠게 되며, 높은 트리 유사성은 더 나은 복합 일반화를 예측한다.

ABSTRACT

When trained on language data, do transformers learn some arbitrary computation that utilizes the full capacity of the architecture or do they learn a simpler, tree-like computation, hypothesized to underlie compositional meaning systems like human languages? There is an apparent tension between compositional accounts of human language understanding, which are based on a restricted bottom-up computational process, and the enormous success of neural models like transformers, which can route information arbitrarily between different parts of their input. One possibility is that these models, while extremely flexible in principle, in practice learn to interpret language hierarchically, ultimately building sentence representations close to those predictable by a bottom-up, tree-structured model. To evaluate this possibility, we describe an unsupervised and parameter-free method to \emph{functionally project} the behavior of any transformer into the space of tree-structured networks. Given an input sentence, we produce a binary tree that approximates the transformer's representation-building process and a score that captures how "tree-like" the transformer's behavior is on the input. While calculation of this score does not require training any additional models, it provably upper-bounds the fit between a transformer and any tree-structured approximation. Using this method, we show that transformers for three different tasks become more tree-like over the course of training, in some cases unsupervisedly recovering the same trees as supervised parsers. These trees, in turn, are predictive of model behavior, with more tree-like models generalizing better on tests of compositional generalization.

연구 동기 및 목표

• 언어 데이터로 훈련된 트랜스포저가 인간의 언어 처리 방식과 유사한 트리 구조적 복합 계산을 학습하는가를 확인하는 것.
• 골드 문법 트리나 추가 모델 훈련에 의존하지 않고 내재된 복합성을 평가할 수 있는 방법을 개발하는 것.
• 트랜스포저 내 트리 구조적 성질이 분포 외 예측에서 더 나은 복합 일반화와 관련이 있는지 평가하는 것.
• 기존의 감독 기반 탐사 방법으로는 드러나지 않는 트랜스포저의 학습 역학을 밝혀내는 것.

제안 방법

• 이 방법은 문장의 모든 구간에 대해 맥락 기반 표현과 맥락 없는 표현 간의 거리를 측정하여, 구간 표현이 맥락에 얼마나 불변적인지 수치화하는 스파닝 문맥 불변성(SSI)을 도입한다.
• 차트 파싱 알고리즘을 사용하여 SCI 점수로부터 이진 트리 구조를 유도하며, 각 내부 노드는 표현이 가장 맥락 불변적인 구간에 해당한다.
• 트리 점수는 유도된 트리의 경로를 따라 SCI 점수의 합으로 유도되며, 이는 트랜스포저를 트리 구조적 모델 공간으로의 기능적 사영으로 기능한다.
• 약한 가정 하에 이 방법은 증명적으로 최적이며, 트랜스포저와 어떤 트리 구조적 근사 모델 간의 적합도를 상한선으로 제시한다.
• 이 방법은 비지도 학습이자 파라미터가 없으며, 추가 훈련이나 골드 문법이 필요 없고, 오직 어텐션 기반 표현에만 기반한다.

실험 결과

연구 질문

• RQ1 언어 데이터로 훈련된 트랜스포저가 하향식, 트리 구조적 과정과 기능적으로 동일한 계산을 학습하는가?
• RQ2 골드 문법 트리에 의존하지 않고 트랜스포저의 내부 계산이 얼마나 트리 유사성을 띠는지 측정할 수 있는가?
• RQ3 학습 과정에서 증가하는 트리 유사성과 더 나은 복합 일반화 간의 상관관계가 있는가?
• RQ4 트리 투영과 트리 구조성 점수는 도메인 내 정확도보다 모델 행동 예측에 더 나은 성능을 보이는가?

주요 결과

• 세 가지 시퀀스 변환 작업을 위한 트랜스포저는 학습 과정에서 점점 더 트리 유사성을 띠게 되며, 세 데이터셋 중 두 개에서 트리 투영이 점점 더 골드 문법과 일치한다.
• 유도된 트리는 탐사 실험을 통해 트랜스포저 인코더가 실제로 적용한 맥락 의존성 구조를 신뢰성 있게 반영한다.
• 유도된 트리의 점수와 파싱 F1 점수는 모두 도메인 내 정확도보다 복합 일반화 성능과 더 강하게 상관되며, 모든 상관관계가 통계적으로 유의미하다(p < 10^-3).
• 유사한 도메인 내 정확도를 가진 모델들 중에서 트리 구조성 점수가 높은 모델이 복합적으로 새로운 테스트 구성에 더 잘 일반화된다.
• 이 방법은 골드 문법이 없더라도 비지도 방식으로 문법 구조를 성공적으로 복원하며, 기존의 감독 기반 탐사 방법으로는 드러나지 않는 학습 역학을 드러낸다.