[論文レビュー] Increasing Depth Leads to U-Shaped Test Risk in Over-parameterized Convolutional Networks

Eshaan Nichani, Adityanarayanan Radhakrishnan+1 more|arXiv (Cornell University)|Oct 19, 2020

Adversarial Robustness in Machine Learning参考文献 34被引用数 5

ひとこと要約

この論文は、過パラメータ化された畳み込みニューラルネットワークにおける深さの増加が、幅の増加とは対照的に、当初は減少してから再び増加するU字型のテストリスク曲線をもたらすことを示している。著者らは、線形畳み込みニューラルタングエント・カーネル（CNTK）に基づく新しい線形回帰フレームワークを用い、深さに依存する特徴変換が真の予測子方向と最適に一致する中間の深さでテストリスクが最小化されることを証明した。

ABSTRACT

Recent works have demonstrated that increasing model capacity through width in over-parameterized neural networks leads to a decrease in test risk. For neural networks, however, model capacity can also be increased through depth, yet understanding the impact of increasing depth on test risk remains an open question. In this work, we demonstrate that the test risk of over-parameterized convolutional networks is a U-shaped curve (i.e. monotonically decreasing, then increasing) with increasing depth. We first provide empirical evidence for this phenomenon via image classification experiments using both ResNets and the convolutional neural tangent kernel (CNTK). We then present a novel linear regression framework for characterizing the impact of depth on test risk, and show that increasing depth leads to a U-shaped test risk for the linear CNTK. In particular, we prove that the linear CNTK corresponds to a depth-dependent linear transformation on the original space and characterize properties of this transformation. We then analyze over-parameterized linear regression under arbitrary linear transformations and, in simplified settings, provably identify the depths which minimize each of the bias and variance terms of the test risk.

研究の動機と目的

• 過パラメータ化された畳み込みニューラルネットワークにおける深さの増加がテストリスクに与える影響を調査し、幅スケーリングに関する先行研究と対比する。
• 補間領域における深さが一般化誤差を増加させるか減少させるかという未解決の問いに答える。
• 深さに依存するカーネルを用いた線形回帰フレームワークを構築し、深さの影響を分析する理論的枠組みを提供する。
• 過パラメータ化モデルにおけるテストリスクのバイアスおよびバリアンス成分を、深さの関数として特徴づける。
• ResNetsを用いたCIFAR10およびMNISTの実験を通じて、U字型のテストリスク曲線を実験的に検証する。線形CNTKを用いる。

提案手法

• 深さに依存する特徴変換の影響をモデル化するため、線形畳み込みニューラルタングエント・カーネル（CNTK）を用いた線形回帰フレームワークを提案する。
• 再帰的定式化により、深さに依存する特徴変換行列 $\Theta_D$ を導出する。$K(x,x') = x^T \Theta_D x'$ が成り立つことを示す。
• 異なるネットワークアーキテクチャにおける $\Theta_D$ の特徴を特定し、深さと入力特徴の明示的線形変換との関連を結びつける。
• カーネル $K(x,x') = x^T \Theta x'$ を用いた線形回帰におけるバイアス・バリアンス分解を実施し、バイアスとバリアンスを最小化する条件を同定する。
• $\Theta = \Sigma^{-1}$（データ共分散行列の逆行列）のときバリアンスが最小化され、$\Theta$ が真の予測子 $\beta$ と一致するときバイアスが最小化されることを証明する。
• MNISTおよびCIFAR10における実験を通じて理論的予測を検証し、テスト損失と $\Theta_D$ と $\beta$ の間の整合性を測定する。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化されたCNNにおける深さの増加は、幅の増加と同様に、テストリスクを単調に減少させるのだろうか？
• RQ2 過パラメータ化された畳み込みネットワークにおけるテストリスクの関数的形態は、深さの関数としてどのように表されるか？
• RQ3 深さに依存するカーネルを用いた線形回帰モデルにおいて、テストリスクのバイアスおよびバリアンス成分は、深さが増加するにつれてどのように変化するか？
• RQ4 テストリスクが最小化される深さは何か？ また、最適な深さと特徴変換 $\Theta_D$ が真の予測子方向と一致する関係は何か？
• RQ5 線形CNTKフレームワークは、深層ネットワークで観測されたU字型のテストリスク曲線を説明できるか？

主な発見

• CIFAR10におけるResNetsおよび無限幅CNTKを用いた実験で、幅を一定に保ったまま深さを増加させた場合、U字型のテストリスク曲線が観測された。
• テストリスクは、最も深いネットワークではなく、中間の深さで最小化される。これは、より深いモデルが常により良い一般化性能を示すという仮定に反する。
• 線形CNTKを用いた線形回帰において、バリアンスは $\Theta_D = \Sigma^{-1}$（データ共分散行列の逆行列）のとき最小化される。
• バイアスは、$\Theta_D$ が真の予測子方向 $\beta$ と最も一致するとき最小化され、$\beta$ に対して直交するスペクトルの割合によって定量化される。
• MNISTの0/1ディジット分類において、テスト損失はU字型の曲線に従い、最小損失は $\Theta_D$ が $\beta$ の方向に最も近づく深さで発生する。
• U字型の挙動は、極端な深さではバイアスやバリアンスの両方が最小化されないため生じる。代わりに、両者のバランスを最適化する中間の深さが最適となる。