[論文レビュー] The intriguing role of module criticality in the generalization of deep networks

Niladri S. Chatterji, Behnam Neyshabur+1 more|arXiv (Cornell University)|Dec 2, 2019

Advanced Memory and Neural Computing参考文献 27被引用数 13

ひとこと要約

この論文は、深層ニューラルネットワークの性能が個々のモジュールの重みを初期値に巻き戻すことにどれほど敏感であるかを定量化する、新たな複雑さの尺度「モジュール臨界性」を導入する。初期値と訓練済み重みを結ぶ損失谷の形状を分析することで、モジュール臨界性が低いアーキテクチャが一般化性能に優れることを明らかにした。この方法は、CIFAR-10およびCIFAR-100におけるResNet、VGG、全結合ネットワークの複数のアーキテクチャにおいて、従来の複雑さの尺度よりも一般化性能の順序付けをよりよく行う。

ABSTRACT

We study the phenomenon that some modules of deep neural networks (DNNs) are more critical than others. Meaning that rewinding their parameter values back to initialization, while keeping other modules fixed at the trained parameters, results in a large drop in the network's performance. Our analysis reveals interesting properties of the loss landscape which leads us to propose a complexity measure, called module criticality, based on the shape of the valleys that connects the initial and final values of the module parameters. We formulate how generalization relates to the module criticality, and show that this measure is able to explain the superior generalization performance of some architectures over others, whereas earlier measures fail to do so.

研究の動機と目的

• 同じ訓練精度を示すにもかかわらず、一部の深層ニューラルネットワークアーキテクチャが他のものよりも一般化性能に優れる理由を理解すること。
• 実際の性能順位と一致しない既存の一般化複雑さの尺度の限界を特定すること。
• 個々のモジュールの重み巻き戻しに対する耐性を捉えることで、一般化におけるアーキテクチャ的差を反映する新たな尺度「モジュール臨界性」を提案すること。
• PAC-Bayes、ノルムに基づく境界、初期値からの距離を測る指標といった従来の尺度よりも、モジュール臨界性が実際の一般化誤差とより強く相関することを示すこと。
• どのモジュールが一般化に最も寄与しているかを特定することで、より良いアーキテクチャや正則化手法の設計の基盤を提供すること。

提案手法

• モジュール臨界性を、初期値から最終値への凸結合において性能がしきい値 ϵ 以内に低下する最小の割合 α ∈ [0,1] として定義する。
• 各モジュールについて、初期値と最終値の重みの線分上に点をサンプリングし、直交方向にガウスノイズを加えて損失を評価することで、2次元の谷の形状を再構築する。
• 最終値から初期値に向かって性能が低下するまでの谷の長さを、臨界性の代理指標とする。距離が短いほど臨界性が高くなる。
• 全ネットワークの複雑さの尺度「ネットワーク臨界性」を、全モジュールのモジュール臨界性の平均として定式化する。
• 一般化誤差との Kendall’s τ 相関を用いて、PAC-Bayes や Rademacher、ノルムに基づく境界といった既存の複雑さの境界と比較する。
• CIFAR-10 および CIFAR-100 で訓練された ResNet18、ResNet101、VGG16、VGG11、DenseNet121、および全結合ネットワークで評価する。

実験結果

リサーチクエスチョン

• RQ1 標準的な複雑さの尺度が失敗する状況でも、モジュール臨界性はなぜ一部のDNNアーキテクチャが他のものよりも一般化性能に優れるかを説明できるか？
• RQ2 損失地形の幾何構造、特に初期値と訓練済み重みを結ぶ谷の形状は、一般化とどのように関係しているか？
• RQ3 重み巻き戻しに対する耐性をモジュールレベルで測る指標は、従来の複雑さの指標よりも一般化誤差とより強く相関するか？
• RQ4 モジュール臨界性から導かれる「ネットワーク臨界性」は、多様なアーキテクチャにおいて一般化性能を信頼性高く予測できるか？
• RQ5 モジュール臨界性は、アーキテクチャ探索や正則化設計を支援する実用的な指標として有効か？

主な発見

• 提案されたネットワーク臨界性指標は、CIFAR-100 において一般化誤差と Kendall’s τ 相関 0.55 を達成し、テストされたすべての複雑さの尺度を上回った。
• CIFAR-10 では、ネットワーク臨界性指標は ResNet101、ResNet18、ResNet34、ResNet50、VGG16、および全結合ネットワークの一般化性能を正しく順位付けしたが、他の指標は失敗した。
• CIFAR-100 において、ResNet101 は最小の一般化誤差（25.5％）を示し、これはネットワーク臨界性指標だけが正しく順位付けした。
• この手法は、VGG11 や DenseNet121 が他のすべての指標で誤って順位付けされていることを特定し、ネットワーク臨界性指標はより一貫性のある順位付けを示した。
• 指標はデータセット間で頑健であり、CIFAR-100 においても高い相関（τ = 0.55）を維持したが、VGG11 や FCN (I)/(II) のような特定のモデルの順位付けに失敗した事例もあった。
• モジュール臨界性は、臨界なモジュールが初期値付近で狭く鋭い谷、あるいは損失が増加する形状を示す一方で、非臨界なモジュールは広く平坦な谷を示すことを明らかにした。これは、損失地形の幾何構造における構造的差を示している。