[論文レビュー] The Difficulty of Training Sparse Neural Networks

Utku Evci, Fabian Pedregosa+2 more|arXiv (Cornell University)|Jun 25, 2019

Advanced Neural Network Applications参考文献 25被引用数 32

ひとこと要約

この論文は、ゼロから訓練するか剪定を通じて疎なニューラルネットワークを訓練する際に異なる結果になる理由を分析し、疎な解へのモノトニックな経路はあるが、密結合が許されない限り疎解の間には障壁が存在することを示している。

ABSTRACT

We investigate the difficulties of training sparse neural networks and make new observations about optimization dynamics and the energy landscape within the sparse regime. Recent work of \citep{Gale2019, Liu2018} has shown that sparse ResNet-50 architectures trained on ImageNet-2012 dataset converge to solutions that are significantly worse than those found by pruning. We show that, despite the failure of optimizers, there is a linear path with a monotonically decreasing objective from the initialization to the "good" solution. Additionally, our attempts to find a decreasing objective path from "bad" solutions to the "good" ones in the sparse subspace fail. However, if we allow the path to traverse the dense subspace, then we consistently find a path between two solutions. These findings suggest traversing extra dimensions may be needed to escape stationary points found in the sparse subspace.

研究の動機と目的

• 疎なニューラルネットワークにおける最適化ダイナミクスとエネルギー景観の理解。
• 剪定ベースの手法が、ゼロからまたは lottery 初期化で疎なネットワークを訓練する場合よりも優れている理由を調査する。
• 初期化と疎解の間の補間経路を調べ、疎部分空間における障壁を特定する。
• 疎性制約を取り除く（密結合を許容する）ことが局所極小値から抜け出すのに役立つか評価する。
• 疎性に焦点を当てたモデルの初期化・正則化・最適化の将来の方法に情報を提供する。

提案手法

• ImageNet-2012 に対してさまざまな疎性 regime で ResNet-50 を訓練する。
• 大きさに基づく剪定を用いて事前に定義された疎度ターゲットに到達させる。
• 剪定ベースの解と scratch および lottery 疎初期化を比較する。
• 初期化と剪定解の間を、疎サブスペースと密サブスペースの両方で線形補間およびベジエ曲線で補間する。
• 補間に沿って目的関数を評価し、エネルギー景観と障壁を研究する。

実験結果

リサーチクエスチョン

• RQ1 Scratchまたは lottery 初期化で訓練した疎ネットワークが剪定結果と一致しないのはなぜか？
• RQ2 疎サブスペース内で初期化から剪定解への単調減少経路が存在するか？
• RQ3 密結合へ緩和した場合、疎解同士の間に経路は存在するか？
• RQ4 密結合を許容することは、疎領域における悪い定常点を脱出することを意味するのか？

主な発見

• 疎サブスペース内の線形補間に沿って、初期化から剪定解への単調減少経路が存在する。
• Scratchと剪定解の間の線形経路は高いエネルギー障壁を示し、二次/三次のベジェ曲線は疎サブスペースで減少する経路を提供できない。
• 疎性制約を取り除く（密度を開放する）と、二つの疎解間で減少する目的ベジェ曲線を許可し、密結合が定常点からの脱出を助けることを示唆している。
• 密サブスペースの経路は、二つの疎解の間で一貫して目的関数を減少させる曲線を見つけ、疎サブスペースの停滞から脱出するには追加の次元が必要であることを示している。
• 剪定解は、疎領域の最適化ダイナミクスのため、Scratchや lottery 初期化から到達するのが依然として難しいが、剪定へは単調経路が存在する。