[論文レビュー] Multi-level Residual Networks from Dynamical Systems View

Bo Chang, Lili Meng+3 more|arXiv (Cornell University)|Oct 27, 2017

Advanced Neural Network Applications参考文献 24被引用数 68

ひとこと要約

本論文はResNetを動的システムとして解釈し、ネットワーク深さを補間しつつステップサイズを半分にする多段階トレーニング手法を導入し、標準データセットで競争力のある精度を保ちながら約40%のトレーニング時間を削減する。

ABSTRACT

Deep residual networks (ResNets) and their variants are widely used in many computer vision applications and natural language processing tasks. However, the theoretical principles for designing and training ResNets are still not fully understood. Recently, several points of view have emerged to try to interpret ResNet theoretically, such as unraveled view, unrolled iterative estimation and dynamical systems view. In this paper, we adopt the dynamical systems point of view, and analyze the lesioning properties of ResNet both theoretically and experimentally. Based on these analyses, we additionally propose a novel method for accelerating ResNet training. We apply the proposed method to train ResNets and Wide ResNets for three image classification benchmarks, reducing training time by more than 40% with superior or on-par accuracy.

研究の動機と目的

• 残差ネットワークを動的システムの視点から動機づけし分析して、病変化やロバスト性の特性を説明する。
• 多-gridの発想に触発された実用的な多段階トレーニング法を提案してResNetのトレーニングを加速する。
• 標準の画像分類データセット上でResNetおよびWide ResNetアーキテクチャを横断して、方法の有効性を示す。

提案手法

• Implicitなステップサイズ h を用いた離散化ODEとしてResNetsをモデル化し、残差ブロックがODEの時間ステップに対応することを示す。
• 残差出力が小さい場合にブロックを削除または並べ替えても影響が限られる理由を説明するための病変解析を実施する。
• 多段階トレーニング手法を導入する：浅いネットワーク（大きな h）から開始し、既存ブロックの後ろにブロックを挿入して深さを補間し、次に h を半分にして複数サイクルを繰り返す。
• 新しいブロックを初期化するために、近隣ブロックのパラメータをコピーして深いモデルへと重みを補間する。
• 各サイクル内でサイクル的学習率スケジュールを使用して訓練性能を維持する。
• 理論的な時間短縮の推定と、訓練時間を約40%削減しつつ精度を保つ実証的な結果を提供する。

実験結果

リサーチクエスチョン

• RQ1 動的システムの解釈は、ブロック削除や再配置に対するResNetsの回復力をどう説明できるか。
• RQ2 多段階補間戦略は精度を犠牲にせずResNetの訓練を加速できるか。
• RQ3 標準ベンチマークでResNetおよびWide ResNetに対して、多段階トレーニングを適用する際の実用的な訓練時間の節約と精度のトレードオフはどうなるか。

主な発見

モデル	ブロック数	CIFAR-10 誤差	CIFAR-10 時間	CIFAR-100 誤差	CIFAR-100 時間	STL-10 誤差	STL-10 時間
ResNet-14	2-2-2	9.75%	38m	33.34%	38m	27.78%	33m
ResNet-50	8-8-8	7.58%	114m	28.64%	115m	25.95%	114m
ResNet-50-i	2-2-2 to 8-8-8	7.10%	67m	28.71%	68m	25.98%	68m
ResNet-32	5-5-5	7.74%	76m	29.96%	74m	26.02%	71m
ResNet-122	20-20-20	6.47%	266m	26.74%	266m	25.16%	266m
ResNet-122-i	5-5-5 to 20-20-20	6.56%	154m	26.81%	154m	24.36%	162m
WResNet-14	2-2-2	7.38%	51m	27.92%	51m	24.58%	63m
WResNet-50	8-8-8	5.87%	174m	24.49%	173m	23.82%	222m
WResNet-50-i	2-2-2 to 8-8-8	5.95%	101m	24.92%	101m	22.82%	131m
WResNet-32	5-5-5	6.29%	111m	25.32%	111m	23.51%	136m
WResNet-122	20-20-20	5.38%	406m	23.11%	406m	22.00%	516m
WResNet-122-i	5-5-5 to 20-20-20	5.46%	239m	23.04%	237m	22.65%	307m

• 平均的な残差ノルムはブロック数に反比例してスケールする（G(Y_j) ~ T/d）、これは動的システムの見解と整合する。
• 病変解析により、残差出力が小さい場合にはブロックを削除しても影響がほとんどないことを示し、残差が特徴量の精製子として機能することと一致する。
• 提案された多段階トレーニング手法は、CIFAR-10、CIFAR-100、-STL-10にわたるResNetおよびWide ResNetで訓練時間を40%以上削減し、最終サイクルモデルと同等またはそれ以上の精度を実現する。
• 補間ベースの深さ拡張は深いモデルを効果的に初期化し、3段階（例：2-2-2→4-4-4→8-8-8）や（例：5-5-5→20-20-20）といったサイクルを可能にする。
• この方法は、ResNetおよびWide ResNetの実験の both で、競争力のあるテスト誤差を維持しつつ壁時計時間を大幅に短縮することを示している。