[論文レビュー] Truth or Backpropaganda? An Empirical Investigation of Deep Learning Theory

Micah Goldblum, Jonas Geiping+3 more|arXiv (Cornell University)|Oct 1, 2019

Adversarial Robustness in Machine Learning参考文献 49被引用数 8

ひとこと要約

この論文は、深層学習理論の根幹的な仮定を実証的に疑問視しており、現実世界のニューラルネットワークに最適でない局所的最小値が存在すること、低ノルムパラメータが一般化を保証するわけではないこと、スキップ接続とバッチ正規化のおかげでResNetsがワイドネットワーク理論に背くこと、および高ランクの重み行列が一般化と敵対的ロバストネスの両面で低ランクのものよりも優れていることを示している。

ABSTRACT

We empirically evaluate common assumptions about neural networks that are widely held by practitioners and theorists alike. In this work, we: (1) prove the widespread existence of suboptimal local minima in the loss landscape of neural networks, and we use our theory to find examples; (2) show that small-norm parameters are not optimal for generalization; (3) demonstrate that ResNets do not conform to wide-network theories, such as the neural tangent kernel, and that the interaction between skip connections and batch normalization plays a role; (4) find that rank does not correlate with generalization or robustness in a practical setting.

研究の動機と目的

• 深層学習に関する広く受け入れられている理論的仮定——例えば、局所的最小値の近似的最適性、低ノルムパラメータの優位性、ワイドネットワーク極限の有効性——が実際の状況でも成り立つかを検証すること。
• 特に敵対的学習下での畳み込みニューラルネットワークにおいて、低ランク重み行列が一般化やロバストネスを向上させるかどうかを調査すること。
• スキップ接続やバッチ正規化といったアーキテクチャ的要素が、古典的な深層学習理論の妥当性を損なうメカニズムを評価すること。
• 重み減衰や低ノルム解が一般化にとって最適であるという仮定に反して、非ゼロノルムのバイアスが性能を向上させることを示すことにより、その仮定を揺るがすこと。

提案手法

• 活性化パターンと重み構成の理論的分析を用いて、全結合および畳み込みネットワークにおける最適でない局所的最小値の明示的例を構築した。
• 有効ランク（r(W) = ||W||_*/||W||_F）に基づくランク操作技術を設計し、トレーニング中に重み行列のランクを制御した。
• CIFAR-10およびCIFAR-100データセットを用い、ResNet-18およびスキップ接続のないResNet-18に対して、自然学習および敵対的学習（PGD、ϵ=8/255およびϵ=1/255）を適用した。
• Sedghiら（2018年）の高速手法を用いて、畳み込みフィルタの有効ランクを効率的に計算した。
• 標準的および敵対的学習ベースラインと比較して、ランク最小化（RankMin）およびランク最大化（RankMax）の目的関数でトレーニングしたモデルを比較した。
• 残差接続の有無を比較することで、バッチ正規化とスキップ接続の相互作用を分析した。

実験結果

リサーチクエスチョン

• RQ1 現実的な深層ニューラルネットワークの損失関数の地形に最適でない局所的最小値が存在するのか。また、それらは活性化パターンと重み構成の理論的分析を用いて明示的に構築可能か？
• RQ2 現代の深層ネットワークにおいて、低ノルムパラメータの初期化や最適化が一般化にとって真に最適なのか？
• RQ3 ワイドネットワーク理論、例えばニューラル接線カーネルのような理論が、ResNetsのような実用的アーキテクチャにどの程度適用可能か？
• RQ4 畳み込みネットワークにおける重み行列の低ランク構造が、一般化または敵対的ロバストネスを向上させるのか？
• RQ5 スキップ接続とバッチ正規化は、深層ネットワークにおける一般化と最適化に関する理論的予測の妥当性にどのように影響を与えるか？

主な発見

• 現実的な深層ニューラルネットワークの損失関数の地形に最適でない局所的最小値が存在し、活性化パターンと重み構成の理論的分析を用いて明示的に構築可能である。
• トレーニング中にパラメータを非ゼロノルムにバイアスすることで、CIFAR-10およびCIFAR-100におけるテスト精度が向上し、低ノルム解が一般化をより良くするとする仮定に反する。
• ResNetsは、スキップ接続とバッチ正規化の相互作用のおかげで、ワイドネットワーク理論、特にニューラル接線カーネルフレームワークに適合しない。
• 高ランク重み行列（RankMax）は敵対的ロバストネスにおいて低ランク行列（RankMin）を上回り、CIFAR-10においてϵ=8/255の条件下で74.92%のロバスト精度を達成した。これに対して、RankMinは73.19%、標準的敵対的学習は74.27%であった。
• 低ランク重み行列と敵対的ロバストネスの向上には相関がなく、むしろ高ランクモデルがロバストネスベンチマークでしばしば低ランクモデルを上回る。
• フィルタの有効ランクはトレーニング中に減少し、初期化時のランクがトレーニング後のモデルよりも高い傾向にあり、最適化がランクを低下させることを示しているが、この低下は性能向上をもたらさない。