[論文レビュー] The Impact of Reinitialization on Generalization in Convolutional Neural Networks

Ibrahim Alabdulmohsin, Hartmut Maennel+1 more|arXiv (Cornell University)|Sep 1, 2021

Advanced Neural Network Applications参考文献 46被引用数 4

ひとこと要約

この論文は、畳み込みニューラルネットワークにおける階層的再初期化手法（lw）を提案し、重みノルムを維持するとともに学習マージンを向上させることで、特に小規模データセットにおいて一般化性能を向上させる。この手法は、下位層を段階的に再初期化することで、より平坦な損失関数の形状を促進し、初期層での一般化可能な特徴の学習を促進する。従来の再初期化手法に比べて優れた性能を示し、一般化性能の向上に寄与する。

ABSTRACT

Recent results suggest that reinitializing a subset of the parameters of a neural network during training can improve generalization, particularly for small training sets. We study the impact of different reinitialization methods in several convolutional architectures across 12 benchmark image classification datasets, analyzing their potential gains and highlighting limitations. We also introduce a new layerwise reinitialization algorithm that outperforms previous methods and suggest explanations of the observed improved generalization. First, we show that layerwise reinitialization increases the margin on the training examples without increasing the norm of the weights, hence leading to an improvement in margin-based generalization bounds for neural networks. Second, we demonstrate that it settles in flatter local minima of the loss surface. Third, it encourages learning general rules and discourages memorization by placing emphasis on the lower layers of the neural network. Our takeaway message is that the accuracy of convolutional neural networks can be improved for small datasets using bottom-up layerwise reinitialization, where the number of reinitialized layers may vary depending on the available compute budget.

研究の動機と目的

• 訓練中にニューラルネットワークのパラメータを再初期化することで、特にデータ量が少ない状況において一般化性能が向上するかどうかを調査すること。
• 標準的な画像分類ベンチマークにおいて、ランダム、マグニチュードベース、固定、全結合の各再初期化戦略の有効性を比較すること。
• 下位から順に層を段階的に再初期化し、正規化を施す新しい再初期化手法（層別再初期化、lw）を考案・評価すること。
• マージン最大化、損失関数の平坦性、記憶の低減という観点から、一般化性能の向上を説明すること。
• 再初期化が恩恵をもたらす条件を特定し、計算リソースの制約を考慮した実用的導入を支援すること。

提案手法

• 提案手法のlwは、CNNをK個の畳み込みブロックに分割し、下位k個のブロックをk=1からKまで順次再初期化する。
• 各ラウンドkにおいて、最初のk個のブロックの重みを元の初期化時のノルムにスケーリングし、以降のすべての層を再初期化する。
• ブロックkの直後に正規化層（バッチノルムに類似）を挿入または更新することで、活性化を安定化させ、勾配の流れを維持する。
• 各ブロックに対してN回の反復を実施し、各再初期化ラウンド後に微調整を実施することで収束を促進する。
• この手法は、初期層の重みのフロベニウスノルムを明示的に維持しつつ、学習例に対するマージンを拡大する。
• 複数のアーキテクチャを用いて12の画像分類データセットで評価し、正規化およびスケーリング要因のアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 標準的な訓練法や他の再初期化手法と比較して、階層的再初期化はCNNの一般化性能を向上させるか？
• RQ2 再初期化は学習例におけるマージンおよび重みノルムにどのように影響を与えるか？
• RQ3 再初期化は損失関数の局所的極小点をどれほど平坦にするか？
• RQ4 再初期化は記憶を低減させ、初期層での一般化可能な特徴の学習を促進するか？
• RQ5 lwの性能は、データセットサイズや利用可能な計算リソースの予算に応じてどのように変化するか？

主な発見

• 層別再初期化（lw）は、12のベンチマークデータセットにおいて、ベースライン訓練法や他の再初期化戦略（welsr, dsd, wels, fc）を常に上回り、特に訓練データが少ない場合に顕著な優位性を示す。
• lwは重みのフロベニウスノルムを増加させることなく、学習例に対する最小マージンを拡大し、マージンに基づく一般化境界の改善に寄与する。
• lwで訓練された最終モデルは、パラメータの摂動に対する訓練損失の変化が小さいことから、損失関数の平坦な領域に位置していることが示された。
• アブレーションスタディにより、正規化とスケーリングがlwの性能に不可欠であることが確認され、これらの要因を除去すると性能が低下する。
• lwは、一般化可能な特徴が通常学習される初期層に注目することで、記憶を低減させ、データセット固有のパターンへの過学習を防ぐ。
• 大規模データセットでは再初期化の恩恵が薄れるため、主な利点は低データ一般化にあり、その特徴が顕著に現れる。