[論文レビュー] Towards Robust ResNet: A Small Step but A Giant Leap

Jingfeng Zhang, Bo Han+3 more|arXiv (Cornell University)|Feb 28, 2019

Generative Adversarial Networks and Image Synthesis参考文献 23被引用数 13

ひとこと要約

本稿では、ResNetを力学的システムの観点から解釈することで、調整可能なステップ要因 $ h $ を用いた明示的オイラー法によってモデル化することにより、ResNetのロバストネスを向上させる原理的アプローチを提案する。小さな $ h $ は特徴変換の滑らかさを向上させることで、訓練の安定性と一般化のロバストネスの両方を向上させる。実験的結果では、視覚およびテキストデータセットにおいて、ノイズが多いデータや深層アーキテクチャにおいて一貫した性能向上が得られている。

ABSTRACT

This paper presents a simple yet principled approach to boosting the robustness of the residual network (ResNet) that is motivated by the dynamical system perspective. Namely, a deep neural network can be interpreted using a partial differential equation, which naturally inspires us to characterize ResNet by an explicit Euler method. Our analytical studies reveal that the step factor h in the Euler method is able to control the robustness of ResNet in both its training and generalization. Specifically, we prove that a small step factor h can benefit the training robustness for back-propagation; from the view of forward-propagation, a small h can aid in the robustness of the model generalization. A comprehensive empirical evaluation on both vision CIFAR-10 and text AG-NEWS datasets confirms that a small h aids both the training and generalization robustness.

研究の動機と目的

• 非常に深いResNetsにおける訓練不安定性の課題に取り組むこと、特にバッチ正規化が導入されているにもかかわらず、初期訓練段階で勾配が爆発する要因を解消すること。
• 画像にモザイクがかかる、または文章にスペルミスがあるなど、ノイズが多い入力データが存在する状況での一般化ロバストネスを向上させること。
• アーキテクチャの複雑化やハイパーパrameterの大幅な見直しを伴わずに、理論的根拠に基づいたロバストネス向上手法を提供すること。
• 明示的オイラー法を介して、深層学習と力学的システムの間の接続を確立し、$ h $ を用いて特徴変換の滑らかさを制御可能にする。

提案手法

• 各残差ブロックがステップサイズ $ h $ を持つ時間ステップに対応する離散力学的システムとしてResNetをモデル化する。
• 残差ブロックの更新式 $ \mathbf{x}_{n+1} = \mathbf{x}_n + h \cdot \mathcal{F}(\mathbf{x}_n) $ を数値積分ステップとして解釈し、$ h $ が変換の大きさを制御することを明確にする。
• 理論的に、小さな $ h $ がバックプロパゲーション中の勾配安定化により訓練のロバストネスを向上させるとともに、フォワードプロパゲーション中のノイズ増幅の抑制により一般化ロバストネスを向上させることを証明する。
• CIFAR-10およびAG-NEWSデータセットにおいて、異なるノイズレベルとネットワークの深さの下で $ h $ の変動が与える影響を実験的に評価する。
• $ h \in [0.001, 20] $ のグリッドサーチを実施し、最適な値を特定する。極端な $ h $ 値におけるアブレーションスタディにより、トレードオフを評価する。
• バッチ正規化と標準的な訓練プロトコルを用い、$ h $ のみを変更することで、ロバストネスおよび性能のばらつきに与える影響を明確に分離する。

実験結果

リサーチクエスチョン

• RQ1 ResNetのオイラーに基づく定式化における小さなステップ要因 $ h $ は、勾配フローの安定化により訓練のロバストネスを向上させることができるか？
• RQ2 $ h $ の低減はフォワードプロパゲーション中のノイズ増幅を緩和し、ノイズが多い入力データに対する一般化性能の向上に寄与するか？
• RQ3 異なるネットワークの深さに対して最適な $ h $ の範囲は何か？また、それは訓練の安定性と性能のばらつきにどのように影響するか？
• RQ4 バッチ正規化が導入されている状況でも、$ h $ は他のハイパーパramータと比較してロバストネスにどのように影響を与えるか？
• RQ5 アーキテクチャの変更なしに、$ h $ の調整を理論的根拠に基づいて行う原理的アプローチが、標準的なResNetを上回る性能を発揮できるか？

主な発見

• 小さなステップ要因 $ h = 0.1 $ は、CIFAR-10におけるResNet-218など、非常に深いResNetsにおいて一貫して訓練のロバストネスを向上させ、訓練のばらつきを低減し、不安定性の発生を防いでいる。
• 一般化ロバストネスの観点では、ノイズが多い入力データにおいて、$ h = 0.1 $ のResNetが標準的なResNet（$ h = 1.0 $）を上回り、特に高いノイズレベル下でテスト精度のばらつきが小さい。
• $ h \geq 5 $ の場合、特にResNet-110のような深層ネットワークでは訓練が不安定になり、多くの場合失敗するため、安定性のための臨界閾値が存在することが示された。
• あまりに小さな $ h $（例：$ h = 0.001 $）は、特徴変換の過剰な滑らかさにより一般化性能を低下させるため、滑らかさのトレードオフが確認された。
• 最適な $ h $ はネットワークの深さに依存する：深層ネットワーク（例：ResNet-218）は $ h $ を小さく（約0.1）することで最大の利益を得られ、浅層ネットワーク（例：ResNet-20）は $ h $ を大きく（最大2.0まで）許容できる。
• AG-NEWSデータセットでは、ResNet-49に対しては $ h = 0.3 $、ResNet-17に対しては $ h = 0.5 $ が最適であり、$ h \geq 0.8 $ の場合、5回中3回の訓練失敗が観察された。