[論文レビュー] Some limitations of norm based generalization bounds in deep neural networks.

Konstantinos Pitas, Andreas Loukas+2 more|arXiv (Cornell University)|May 23, 2019

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿は、スペクトル的複雑性に基づく深層畳み込みニューラルネットワークの一般化境界を初めて提案し、一般化境界を桁違いに厳しくする。しかし、その根本的な限界が判明する：スペクトル的複雑性は、現代のCNNにおける不変性を捉えておらず、アーキテクチャの不変性に対して感受性がなく、一般化の理論的信頼性を損なう。

ABSTRACT

Deep convolutional neural networks have been shown to be able to fit a labeling over random data while still being able to generalize well on normal datasets. Describing deep convolutional neural network capacity through the measure of spectral complexity has been recently proposed to tackle this apparent paradox. Spectral complexity correlates with GE and can distinguish networks trained on normal and random labels. We propose the first GE bound based on spectral complexity for deep convolutional neural networks and provide tighter bounds by orders of magnitude from the previous estimate. We then investigate theoretically and empirically the insensitivity of spectral complexity to invariances of modern deep convolutional neural networks, and show several limitations of spectral complexity that occur as a result.

研究の動機と目的

• ランダムラベルにフィットするにもかかわらず深層ニューラルネットワークが良好に一般化するというパラドックスを解消するため、重み行列の特異値に基づくスペクトル的複雑性を用いて、よりタイトな一般化境界を提案すること。
• スペクトル的複雑性が、現代の深層畳み込みニューラルネットワークに内在する誘導的バイアスおよび不変性を正確に捉えられるかを調査すること。
• スペクトル的複雑性が一般化境界におけるネットワーク容量の測定として、理論的および実験的限界を評価すること。

提案手法

• 重み行列の特異値に基づくスペクトル的複雑性を用いて、深層畳み込みニューラルネットワークの新しい一般化境界を提案する。
• 実データおよびランダムラベルで訓練されたネットワークに対して、スペクトル的複雑性を実験的に評価し、一般化性能への感受性を評価する。
• 現代のCNN（例：平行移動不変性、プーリング不変性）の不変性特性を分析し、スペクトル的複雑性がこうした構造的不変性にどのように反応するかをテストする。
• 提案されたスペクトル的複雑性境界を先行研究の一般化境界と比較し、一般化境界のタイトさが桁違いに向上することを示す。
• 理論的分析により、アーキテクチャの不変性が導入されても、スペクトル的複雑性が減少しないことを示す。

実験結果

リサーチクエスチョン

• RQ1 スペクトル的複雑性は、従来の手法と比較して、深層畳み込みニューラルネットワークの一般化境界をよりタイトに提供できるか？
• RQ2 スペクトル的複雑性は、重み共有やプーリングといった現代のCNNにおける不変性にどのように反応するか？
• RQ3 一般化性能の差があるにもかかわらず、スペクトル的複雑性が実データとランダムラベルで訓練されたネットワークを区別できないのはなぜか？
• RQ4 スペクトル的複雑性は、深層CNNの真の誘導的バイアスをどの程度反映しているか？

主な発見

• 提案されたスペクトル的複雑性に基づく一般化境界は、従来の推定と比べて著しくタイトであり、桁違いに改善されている。
• 重み共有やプーリングなどのアーキテクチャ的不変性に対して、スペクトル的複雑性は変化しないが、一般化性能の向上に寄与している。
• スペクトル的複雑性は、実データとランダムラベルで訓練されたネットワークを区別できないため、一般化行動に対する根本的な感受性の欠如が示された。
• 理論的分析により、不変性が導入されてもスペクトル的複雑性が減少しないことが判明し、容量低減を測定する能力が損なわれている。
• 実験結果により、構造的不変性が存在する状況では、スペクトル的複雑性が実際の一般化性能と相関が低いことが確認された。