[論文レビュー] Rethinking Skip Connection with Layer Normalization in Transformers and ResNets

Fenglin Liu, Xuancheng Ren+3 more|arXiv (Cornell University)|May 15, 2021

Advanced Neural Network Applications参考文献 25被引用数 13

ひとこと要約

本稿では、層正則化を再帰的に適用するスケールアップされたスキップ接続を組み合わせた、新しい残差ブロック設計であるRecursive Skip Connection with Layer Normalization (2rSkip+LN) を提案する。この手法は、訓練の安定性と深層ネットワークにおける最適化の改善を実現する。ResNet や Transformers において、CIFAR-100 では最大 1.02 の絶対誤差低減、機械翻訳では 1 BLEU 以上の向上を達成し、標準的なスキップ接続と比較して優れた一般化性能と頑健性を示す。

ABSTRACT

Skip connection, is a widely-used technique to improve the performance and the convergence of deep neural networks, which is believed to relieve the difficulty in optimization due to non-linearity by propagating a linear component through the neural network layers. However, from another point of view, it can also be seen as a modulating mechanism between the input and the output, with the input scaled by a pre-defined value one. In this work, we investigate how the scale factors in the effectiveness of the skip connection and reveal that a trivial adjustment of the scale will lead to spurious gradient exploding or vanishing in line with the deepness of the models, which could be addressed by normalization, in particular, layer normalization, which induces consistent improvements over the plain skip connection. Inspired by the findings, we further propose to adaptively adjust the scale of the input by recursively applying skip connection with layer normalization, which promotes the performance substantially and generalizes well across diverse tasks including both machine translation and image classification datasets.

研究の動機と目的

• スケール要因が深層ネットワークにおける勾配安定性と最適化に与える影響を調査すること。
• スキップ接続における非恒等スケーリングによって引き起こされる勾配爆発／消失問題を、層正則化が軽減できるかどうかを検討すること。
• 適応的スケーリングと層正則化を組み合わせた、訓練の安定性と性能を向上させる新しいスキップ接続機構を設計すること。
• 画像分類や機械翻訳を含む多様なタスクにおいて、提案アーキテクチャの一般化性とスケーラビリティを評価すること。
• 層正則化を伴う残差ブロックにおいて、固定または学習可能なスケール要因のどちらが最適なパフォーマンスをもたらすかを特定すること。

提案手法

• スケール要因 λ > 1 を用いて入力をスケーリングし、層正則化により正規化することで勾配安定性を向上させる、拡張されたスキップ接続と層正則化の提案。
• スケールされたスキップ接続に対して再帰的に層正則化を適用する、Recursive Skip Connection with Layer Normalization (2rSkip+LN) の導入。これにより、より深いブロックを経ても安定した勾配伝搬が可能になる。
• アーキテクチャは y = LN(λ·x + F(x, W)) として定式化され、スキップ項が再帰的に層正則化処理されることで勾配安定性が維持される。
• CNN や Transformers の両方において、可変長シーケンスの処理に適した層正則化をバッチ正則化よりも採用し、一般化性能の向上を図る。
• CIFAR-100 および WMT 翻訳データセットにおいて、ResNet および Transformer アーキテクチャを用いたアブレーションスタディおよび比較実験により、手法の有効性を検証する。
• 再帰的バージョンでは固定 λ = 2 を採用し、アブレーションにより、スケーリングを正則化と組み合わせた場合に高いスケーリングがパフォーマンス向上に寄与することが示された。

実験結果

リサーチクエスチョン

• RQ1 λ ≠ 1 でスキップ接続をスケーリングすると、深層ネットワークで勾配不安定性が生じるか。また、層正則化がこれを緩和できるか。
• RQ2 層正則化とスケールされたスキップ接続の組み合わせが、残差ネットワークにおける最適化と収束性に与える影響は何か。
• RQ3 スケールされたスキップ接続に対して層正則化を再帰的に適用することで、訓練の安定性とモデル性能が向上するか。
• RQ4 提案された 2rSkip+LN アーキテクチャは、ResNet や Transformers といった異なるアーキテクチャ、および画像分類や機械翻訳といった異なるタスクに一般化可能か。
• RQ5 層正則化と組み合わせた場合の最適なスケール要因 λ は何か。また、モデルの深さやデータセットの複雑さに応じて変化するか。

主な発見

• 2rSkip+LN の提案手法は、ResNet-110 を用いた CIFAR-100 で 1.02 の絶対誤差低減を達成し、特に深いモデルで顕著な向上を示した。
• 機械翻訳タスクでは、Transformer-Base が EN-VI で 1.2 BLEU、EN-DE で 0.7、EN-FR で 0.8 の向上を示し、パラメータ数が少ないにもかかわらずより大きなモデルを上回る性能を発揮した。
• CIFAR-100 において、すべてのモデル深さで一貫した性能向上が確認され、特に深いネットワークで大きな向上が得られた。これは、深い表現の最適化が改善されたことを示唆する。
• 画像分類（ResNet）とシーケンスモデリング（Transformer）の両タスクで一貫した向上が得られたことから、本手法のアーキテクチャおよびタスク間での一般化性が確認された。
• 特に深いモデルにおいて、層正則化はバッチ正則化よりも勾配安定性をより効果的に向上させることが判明した。
• アブレーションスタディにより、スケールされたスキップ接続単体では最適化の問題が生じ、層正則化単体でも不十分であることが確認された。唯一、再帰的組み合わせにより安定かつ効果的な訓練が実現された。