[論文レビュー] Transformers with Competitive Ensembles of Independent Mechanisms

Alex Lamb, Di He+5 more|arXiv (Cornell University)|Feb 27, 2021

Reinforcement Learning in Robotics参考文献 51被引用数 8

ひとこと要約

この論文では、独立したメカニズムを備えたトランスフォーマー（TIM）という、新しいトランスフォーマー・アーキテクチャを提案する。TIMは、隠れ表現とパラメータを複数の特化型メカニズムに分割し、それらが注意機構を通じてのみ通信する。特化を促すための競合メカニズムを導入することで、NLP、ビジョン、音声処理の各タスクにおいて一般化性能と性能が向上し、CATERオブジェクト追跡およびBERT微調整タスクで顕著な向上を達成した。

ABSTRACT

An important development in deep learning from the earliest MLPs has been a move towards architectures with structural inductive biases which enable the model to keep distinct sources of information and routes of processing well-separated. This structure is linked to the notion of independent mechanisms from the causality literature, in which a mechanism is able to retain the same processing as irrelevant aspects of the world are changed. For example, convnets enable separation over positions, while attention-based architectures (especially Transformers) learn which combination of positions to process dynamically. In this work we explore a way in which the Transformer architecture is deficient: it represents each position with a large monolithic hidden representation and a single set of parameters which are applied over the entire hidden representation. This potentially throws unrelated sources of information together, and limits the Transformer's ability to capture independent mechanisms. To address this, we propose Transformers with Independent Mechanisms (TIM), a new Transformer layer which divides the hidden representation and parameters into multiple mechanisms, which only exchange information through attention. Additionally, we propose a competition mechanism which encourages these mechanisms to specialize over time steps, and thus be more independent. We study TIM on a large-scale BERT model, on the Image Transformer, and on speech enhancement and find evidence for semantically meaningful specialization as well as improved performance.

研究の動機と目的

• 標準トランスフォーマーが、すべての位置で同じ隠れ表現と共有パラメータを使用するため、関係のない特徴の表現が混同されてしまうという限界に対処すること。
• 因果推論の文脈からインspiredされた、独立したメカニズム（世界の異なる側面が変化しても機能を保つモジュール）を支持する構造的インダクティブバイアスを導入すること。
• 時間ステップを経てメカニズムが特化するよう競合メカニズムを導入することで、モデルの一般化性能を向上させること。
• TIMが多様なタスク（NLP、動画推論、音声強化など）において意味的に意味のある特化を実現し、優れた性能を示すことを実証的に検証すること。

提案手法

• TIMは、各トランスフォーマー層の隠れ表現とパラメータを、複数の独立したメカニズムに分割する。各メカニズムは独自のパラメータセットを有する。
• メカニズム間の通信は、完全にクロスアテンションに依存しており、情報交換が動的かつ位置に依存する。
• メカニズムが関係のない位置を説明する場合にペナルティを与えることで、特化を促す競合メカニズムを導入する。これにより、各メカニズムが異なる役割を果たすよう促進される。
• 各位置ごとにメカニズムの関連性スコアを学習するための微分可能ルーティング機構を用いて、競合を実装する。
• BERT、Image Transformer、音声強化タスクを対象にアーキテクチャを評価し、メカニズム数と競合メカニズムのアブレーションスタディを実施する。
• 標準的な最適化手法を用いてエンド・ツー・エンドで訓練し、パラメータ効率を維持しながら、モジュール型で特化した処理を可能にする。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーの隠れ表現を複数の独立したメカニズムに分割することで、モデルの一般化性能と性能が向上するか？
• RQ2 メカニズム間の競合メカニズムが、各メカニズムが異なるデータ要因を処理するように意味的に特化するよう導くか？
• RQ3 NLP、動画推論、音声強化などの多様なタスクにおいて、TIMは標準トランスフォーマーや他のモジュラー・アーキテクチャと比較してどのように性能を発揮するか？
• RQ4 メカニズムの数と競合メカニズムの有無が、モデルの性能と特化度に与える影響は何か？

主な発見

• 8つのメカニズムを備えたTIM-Compは、CATERオブジェクト追跡タスクで71.1％のTop-1精度を達成し、標準トランスフォーマー（68.7％）およびLSTM（67.4％）を上回った。
• GLUEベンチマークでは、TIMモデルがBERTベースラインと比較して、マスクされた言語モデリング損失が低く、ランダムシードごとの性能のばらつきも安定していた。
• 4つのメカニズムを備えたTIM-Compは、CATERで87.3％のTop-5精度を達成し、トランスフォーマーベースライン（81.7％）を著しく上回った。
• TIMアーキテクチャは、微調整の結果における分散を低減し、訓練ランの繰り返しにおいても、より高い耐障害性と信頼性を示した。
• 実証的結果から、TIMのメカニズムが、オブジェクト特徴や空間的関係といった、明確に異なる意味的要因に特化していることが、アテンションパターンとルーティング行動の両面から裏付けられた。