[論文レビュー] The Devil is in the Detail: Simple Tricks Improve Systematic Generalization of Transformers

Róbert Csordás, Kazuki Irie+1 more|arXiv (Cornell University)|Aug 26, 2021

Advanced Neural Network Applications参考文献 46被引用数 5

ひとこと要約

この論文は、単純なアーキテクチャ的およびトレーニング設定の調整——例えば、埋め込みスケーリング、早期停止、相対的位置埋め込み、Universal Transformerの変種——が、5つのベンチマークデータセット全体で変換器の体系的一般化を著しく向上させることを示している。本手法により、COGSでは正答率が35%から81%に、PCFGの生産性スプリットでは50%から85%に向上し、相対的位置埋め込みを用いることでSCANの長さスプリットでは100%に達している。これはIIDスプリットでは性能差が認められないにもかかわらずである。

ABSTRACT

Recently, many datasets have been proposed to test the systematic generalization ability of neural networks. The companion baseline Transformers, typically trained with default hyper-parameters from standard tasks, are shown to fail dramatically. Here we demonstrate that by revisiting model configurations as basic as scaling of embeddings, early stopping, relative positional embedding, and Universal Transformer variants, we can drastically improve the performance of Transformers on systematic generalization. We report improvements on five popular datasets: SCAN, CFQ, PCFG, COGS, and Mathematics dataset. Our models improve accuracy from 50% to 85% on the PCFG productivity split, and from 35% to 81% on COGS. On SCAN, relative positional embedding largely mitigates the EOS decision problem (Newman et al., 2020), yielding 100% accuracy on the length split with a cutoff at 26. Importantly, performance differences between these models are typically invisible on the IID data split. This calls for proper generalization validation sets for developing neural networks that generalize systematically. We publicly release the code to reproduce our results.

研究の動機と目的

• 標準の変換器モデルが標準ベンチマークでは優れた性能を示すにもかかわらず、体系的一般化タスクで継続的に失敗する理由を解明すること。
• デフォルトのハイパーパrameterや絶対的位置埋め込みといった、非最適なベースライン設定が、体系的一般化の公平な評価を妨げているかどうかを調査すること。
• 複雑な帰納的バイアスを導入することなく、わずかなアーキテクチャ的およびトレーニングの調整によって体系的一般化性能が著しく向上することを実証すること。
• 性能差がIIDスプリットでは見えないため、体系的一般化のための専用の一般化検証セットの重要性を強調すること。
• 今後の神経ネットワークにおける体系的一般化研究のための、より強く再現可能なベースラインを確立すること。

提案手法

• トークン埋め込みスケーリング（TEU）を適用し、単語埋め込みをGlorot一様分布で初期化し、√d_modelでスケーリングすることで、位置埋め込みとバランスを取る。
• 位置埋め込みダウンスケーリング（PED）を実装し、単語埋め込みをKaiming正規分布（σ = 1/√d_model）で初期化し、位置埋め込みの大きさを1/√d_modelで減少させる。
• Daiら（2019）の分解されたアテンションメカニズムを用いて相対的位置埋め込みを導入し、学習されたベクトルuとv、および相対的位置埋め込みP_i-jを明示的にモデル化する。
• IIDスプリットでの過学習を防ぐために、検証損失に基づく早期停止を適用しつつ、一般化性能を維持する。
• 全層で共有パラメータを用いたUniversal Transformerの変種を訓練し、系列モデリングおよび一般化能力を向上させる。
• 絶対的位置埋め込みと相対的位置埋め込みを併用しないこと。エンコーダ-デコーダインターフェースを除き、すべての層で相対的位置アテンションを使用する。

実験結果

リサーチクエスチョン

• RQ1 標準の変換器ハイパーパrameterおよび設定が、ベンチマークデータセットにおける体系的一般化性能にどの程度制限を及えるのか？
• RQ2 埋め込みスケーリングや相対的位置符号化といった単純なアーキテクチャ的変更が、シンボリックな要素を追加せずに体系的一般化を顕著に向上させられるか？
• RQ3 モデル間の性能差がIIDバリデーションセットでは検出できないのはなぜか？これは一般化評価にどのような意味を持つのか？
• RQ4 相対的位置埋め込みは、系列から系列へのタスクにおける文末（EOS）意思決定問題をどのように緩和するのか？
• RQ5 1つの設定改善セットが、SCAN、COGS、PCFG、数学問題など、多様な体系的一般化ベンチマークに一般化可能か？

主な発見

• PCFGの生産性スプリットでは、埋め込みスケーリングと相対的位置埋め込みを用いることで、正答率が50%から85%に向上した。
• COGSデータセットでは、同じ設定改善により正答率が35%から81%に上昇し、顕著な一般化向上が確認された。
• SCANの長さスプリット（26文字まで）では、相対的位置埋め込みにより正答率が100%に達し、EOS意思決定問題が効果的に解決された。
• PCFGの体系性スプリットでは、正答率がベースラインの72%から96%に上昇し、より良い構成的推論能力が示された。
• 一般化スプリットでは顕著な性能差が見られる一方で、すべてのモデルがIIDバリデーションセットでは同一の性能を示しており、専用の一般化ベンチマークの必要性が浮き彫りになった。
• コードとトレーニング済みモデルは公開されており、再現性を確保するとともに、今後の体系的一般化手法のベンチマーク化を可能にしている。