[논문 리뷰] Transformers with Competitive Ensembles of Independent Mechanisms

Alex Lamb, Di He외 5명|arXiv (Cornell University)|2021. 02. 27.

Reinforcement Learning in Robotics참고 문헌 51인용 수 8

한 줄 요약

이 논문은 은닉 표현과 파라미터를 다수의 전문화된 메커니즘으로 분할하고, 이들이 유일하게 주의 메커니즘을 통해 소통하도록 하는 새로운 트랜스포머 아키텍처인 독립적 메커니즘을 가진 트랜스포머(TIM)를 제안한다. 상호 경쟁 메커니즘을 도입하여 전문화를 장려함으로써, NLP, 비전, 음성 작업 전반에서 일반화 능력과 성능이 향상되며, CATER 객체 추적 및 BERT 파인튜닝 과제에서 뚜렷한 성과 향상이 이루어진다.

ABSTRACT

An important development in deep learning from the earliest MLPs has been a move towards architectures with structural inductive biases which enable the model to keep distinct sources of information and routes of processing well-separated. This structure is linked to the notion of independent mechanisms from the causality literature, in which a mechanism is able to retain the same processing as irrelevant aspects of the world are changed. For example, convnets enable separation over positions, while attention-based architectures (especially Transformers) learn which combination of positions to process dynamically. In this work we explore a way in which the Transformer architecture is deficient: it represents each position with a large monolithic hidden representation and a single set of parameters which are applied over the entire hidden representation. This potentially throws unrelated sources of information together, and limits the Transformer's ability to capture independent mechanisms. To address this, we propose Transformers with Independent Mechanisms (TIM), a new Transformer layer which divides the hidden representation and parameters into multiple mechanisms, which only exchange information through attention. Additionally, we propose a competition mechanism which encourages these mechanisms to specialize over time steps, and thus be more independent. We study TIM on a large-scale BERT model, on the Image Transformer, and on speech enhancement and find evidence for semantically meaningful specialization as well as improved performance.

연구 동기 및 목표

• 표준 트랜스포머가 모든 위치에서 동일한 은닉 표현과 공유된 파라미터를 사용함으로써 관련 없는 특징의 표현이 얽히게 되는 한계를 해결하기 위해.
• 인과성 문헌에서 영감을 얻어, 서로 다른 세계적 요소가 변화하더라도 功能을 유지하는 독립적 메커니즘—모듈—을 지원하는 구조적 인덕티브 바이어스를 도입하기 위해.
• 시간 단계에 따라 메커니즘이 전문화되도록 경쟁 메커니즘을 통해 장려함으로써 모델의 일반화 능력을 향상시키기 위해.
• TIM이 다양한 작업, 즉 NLP, 비디오 추론, 음성 강화에서 의미 있는 전문화를 가능하게 하고 우수한 성능을 내는지 경험적으로 검증하기 위해.

제안 방법

• TIM은 각 트랜스포머 레이어의 은닉 표현과 파라미터를 다수의 독립적 메커니즘으로 분할하며, 각 메커니즘은 자체 파라미터 집합을 가진다.
• 메커니즘 간의 정보 교환은 교차 주의 메커니즘을 통해 유일하게 이루어지며, 이는 동적이고 위치 인식 가능한 정보 교환을 보장한다.
• 경쟁 메커니즘을 도입하여, 관련 없는 위치를 설명하는 데에 대해 메커니즘을 처벌함으로써 전문화를 장려한다. 이는 각 메커니즘이 독립된 역할을 하도록 유도한다.
• 경쟁은 각 위치에 대해 메커니즘의 관련도 점수를 배정하는 미분 가능한 라우팅 메커니즘을 통해 구현된다.
• 아키텍처는 BERT, 이미지 트랜스포머, 음성 강화 과제에서 평가되었으며, 메커니즘 수와 경쟁 메커니즘에 대한 추론 실험도 실시되었다.
• TIM은 표준 최적화 방법을 사용해 엔드 투 엔드로 훈련되며, 파라미터 효율성을 유지하면서도 모듈식이고 전문화된 처리를 가능하게 한다.

실험 결과

연구 질문

• RQ1 트랜스포머의 은닉 표현을 다수의 독립적 메커니즘으로 분할하면 모델의 일반화 능력과 성능이 향상되는가?
• RQ2 메커니즘 간의 경쟁 메커니즘이 의미론적 전문화를 이끌어내는가? 즉, 각 메커니즘이 서로 다른 데이터 요소를 처리하도록 학습하는가?
• RQ3 NLP, 비디오 추론, 음성 강화와 같은 다양한 과제에서 TIM은 표준 트랜스포머 및 기타 모듈식 아키텍처와 비교해 어떻게 성능을 냈는가?
• RQ4 메커니즘 수와 경쟁 메커니즘의 영향은 모델 성능과 전문화도에 어떤 영향을 미치는가?

주요 결과

• 8개의 메커니즘을 가진 TIM-Comp는 CATER 객체 추적 과제에서 71.1%의 Top-1 정확도를 달성하여 표준 트랜스포머(68.7%)와 LSTM(67.4%)를 앞서며 성능 향상을 보였다.
• GLUE 벤치마크에서 TIM 모델은 BERT 기준보다 더 낮은 마스크된 언어 모델링 손실을 기록했으며, 랜덤 시드에 따른 성능 변화도 더 안정적이었다.
• 4개의 메커니즘을 가진 TIM-Comp는 CATER에서 87.3%의 Top-5 정확도를 기록하여 트랜스포머 기준(81.7%)을 크게 앞서며 뚜렷한 성능 향상을 보였다.
• TIM 아키텍처는 파인튜닝 결과의 분산을 감소시켜, 훈련 런에 걸쳐 더 높은 강건성과 신뢰성을 보였다.
• 경험적 결과에 따르면, TIM의 메커니즘은 객체 특징이나 공간적 관계와 같은 독립된 의미론적 요소들에 대해 전문화되어 있으며, 이는 주의 패턴과 라우팅 행동을 통해 뒷받침된다.