[論文レビュー] Do Deeper Convolutional Networks Perform Better

Eshaan Nichani, Adityanarayanan Radhakrishnan+1 more|arXiv (Cornell University)|May 4, 2021

Advanced Neural Network Applications参考文献 4被引用数 7

ひとこと要約

この論文は、畳み込みネットワークの深さを増加させた際の汎化性能への影響を調査し、幅の増加におけるよく知られたダブルデセント曲線とは対照的である。CIFAR-10 および ImageNet-32 を用いた ResNets と完全畳み込みネットワークを用いた実験を通じて、臨界深さを超えるとテスト誤差が増加することが判明し、深さが幅と同様に汎化を向上させない可能性を示唆している。著者らは、線形ネットワークにおける最小ノルム解と関連づけ、性能劣化の理論的説明を提示している。

ABSTRACT

Over-parameterization is a recent topic of much interest in the machine learning community. While over-parameterized neural networks are capable of perfectly fitting (interpolating) training data, these networks often perform well on test data, thereby contradicting classical learning theory. Recent work provided an explanation for this phenomenon by introducing the double descent curve, showing that increasing model capacity past the interpolation threshold leads to a decrease in test error. In line with this, it was recently shown empirically and theoretically that increasing neural network capacity through width leads to double descent. In this work, we analyze the effect of increasing depth on test performance. In contrast to what is observed for increasing width, we demonstrate through a variety of classification experiments on CIFAR10 and ImageNet-32 using ResNets and fully-convolutional networks that test performance worsens beyond a critical depth. We posit an explanation for this phenomenon by drawing intuition from the principle of minimum norm solutions in linear networks.

研究の動機と目的

• 畳み込みニューラルネットワークにおける深さの増加がテスト性能に与える影響、特に補間閾値を超えた領域での影響を調査すること。
• 幅がテスト誤差におけるダブルデセントを引き起こすのに対し、深さと幅の両者の汎化への影響を対比すること。
• 過パラメータ化されているにもかかわらず、より深いネットワークがなぜ性能を発揮しないのかを、線形ネットワークにおける最小ノルム解の知見を用いて説明すること。
• ResNets および完全畳み込みアーキテクチャを用いて、CIFAR-10 や ImageNet-32 といった標準ベンチマークにおける深さスケーリングを実証的に評価すること。

提案手法

• CIFAR-10 および ImageNet-32 における ResNets および完全畳み込みネットワークの深さを変化させた際のテスト精度を実証的に評価する。
• ネットワークの深さを関数とするテスト誤差を測定することで、深さにおけるダブルデセント現象を分析する。
• 線形ネットワークにおける最小ノルム解から理論的直感を得て、深さの増加に伴う観察された性能劣化を説明する。
• 従来の幅に起因するダブルデセント曲線と深さスケーリングの挙動を比較する。
• 他のハイパーパrameterを一定に保ちながら深さの影響を分離するための制御された実験を用いる。

実験結果

リサーチクエスチョン

• RQ1 ネットワークの深さを増加させることで、幅を増加させた場合と同様にテスト性能が向上するのか？
• RQ2 補間閾値を超える臨界深さの領域で、テスト誤差が増加する現象が見られ、深さにおけるダブルデセントの形を取るのか？
• RQ3 幅とは異なり、過パラメータ化されているにもかかわらず、なぜより深いネットワークはうまく汎化できないのか？
• RQ4 線形ネットワークにおける最小ノルム解の原則が、観察された深さに起因する性能劣化を説明できるのか？

主な発見

• ResNets および完全畳み込みネットワークの両方において、CIFAR-10 および ImageNet-32 におけるテスト性能は、臨界深さを超えると劣化する。
• 補間閾値を超えてテスト誤差が減少する幅に起因するダブルデセントとは異なり、深さはこの有益な挙動を示さない。
• 複数のアーキテクチャおよびデータセットにわたり、深さの増加に伴う性能劣化は一貫しており、根本的な制限であることが示唆される。
• 線形ネットワークにおける最小ノルム解への類似性を用いることで、この現象が説明可能である。より深いモデルは一般化が悪い高ノルム解に収束する可能性がある。