[論文レビュー] Generalization Bounds for Convolutional Neural Networks

Shan Lin, Jingwei Zhang|arXiv (Cornell University)|Oct 3, 2019

Advanced Neural Network Applications参考文献 40被引用数 14

ひとこと要約

この論文は、畳み込み層のスパarsityおよび重み共有構造を活用することで、畳み込みニューラルネットワーク（CNN）の一般化バウンドをより厳密にすることを提案している。畳み込み層を等価な全結合行列に変換し、その構造的重み行列の特異値ノルムを用いて一般化バウンドを導出する。このバウンドは、理論的にも実験的にも、特にMobileNet V1およびV2のようなアーキテクチャにおいて、従来の全結合ネットワークの一般化バウンドよりも顕著にタイトであることが示されている。

ABSTRACT

Convolutional neural networks (CNNs) have achieved breakthrough performances in a wide range of applications including image classification, semantic segmentation, and object detection. Previous research on characterizing the generalization ability of neural networks mostly focuses on fully connected neural networks (FNNs), regarding CNNs as a special case of FNNs without taking into account the special structure of convolutional layers. In this work, we propose a tighter generalization bound for CNNs by exploiting the sparse and permutation structure of its weight matrices. As the generalization bound relies on the spectral norm of weight matrices, we further study spectral norms of three commonly used convolution operations including standard convolution, depthwise convolution, and pointwise convolution. Theoretical and experimental results both demonstrate that our bounds for CNNs are tighter than existing bounds.

研究の動機と目的

• 過パラメータ化されたCNNにおける一般化の理論的理解の不足を解消すること。
• 重み共有やスパarsityといった畳み込み層の構造的特性を明示的に反映した一般化バウンドの開発。
• これらの構造的特性を活用することで、全結合ニューラルネットワーク理論から導かれるバウンドよりもタイトなバウンドが得られることの証明。
• MobileNet V1およびV2アーキテクチャにおける理論的改善を実験的に検証すること。

提案手法

• 畳み込み層を、畳み込みフィルタから導出されたスパースかつ構造的重み行列を有する等価な全結合層に変換する。
• 得られた全結合重み行列の特異値ノルムを分析し、そのスパarsityおよび置換不変構造を活用する。
• 変換された重み行列の特異値ノルムに基づいて一般化バウンドを導出し、層ごとのノルムとネットワークの深さを組み込む。
• 標準畳み込み、深度可分畳み込み、ポイントワイド畳み込みから生成される重み行列の特異値ノルムに対する理論的上限を提供する。
• 被覆数の議論とノルムに基づく複雑度測度を用いて、一般化誤差をバウンドする。
• 学習済み重みを用いて、MobileNet V1およびV2におけるバウンドの実験的評価を行い、既存手法と比較してバウンドの大きさを検証する。

実験結果

リサーチクエスチョン

• RQ1 畳み込み層の構造的特性、特にスパarsityおよび重み共有を活用することで、全結合ネットワークの一般化バウンドよりもタイトなバウンドを導出できるか。
• RQ2 標準畳み込み、深度可分畳み込み、ポイントワイド畳み込みから生成される重み行列の特異値ノルムはどのように比較されるか。また、元の畳み込みフィルタのノルムを用いてそれらをバウンドできるか。
• RQ3 提案されたバウンドは、深層ネットワークの既存一般化バウンドと比較して、顕著なタイトネスの向上を示すか。
• RQ4 理論的バウンドは、MobileNetのような実世界のCNNアーキテクチャにおける実効的性能とどの程度相関するか。

主な発見

• 提案された一般化バウンドは、特に畳み込み層を有するモデルにおいて、既存の全結合ネットワークの一般化バウンドよりもタイトである。
• バウンドは、畳み込み重みから導出されたスパースかつ構造的全結合行列の特異値ノルムを分析することで導出されている。
• 理論的解析により、変換された重み行列の特異値ノルムが、元の畳み込みフィルタのノルムを用いて上界で抑えられることを示している。
• MobileNet V1およびV2における実験的評価により、提案バウンドの大きさが既存バウンドよりも顕著に小さいことが確認され、そのタイトネスが裏付けられた。
• 重み共有が広範に適用される、より深くパラメータ効率の高いアーキテクチャ（例：MobileNets）において、バウンドのタイトネス向上が最も顕著に現れた。
• バウンドはネットワークの深さおよび層の幅に対して良好にスケーリングされ、複雑度は $\widetilde{\mathcal{O}}\left(\frac{s^{\frac{L-1}{4}}L^{\frac{3}{4}}a^{\frac{1}{4}}c^{\frac{1}{2}}m^{\frac{1}{8}}r^{\frac{1}{2}}}{\sqrt{n}}\right)$ となる。これはモデル容量に依存する改善を反映している。