[論文レビュー] Optimization Landscape and Expressivity of Deep CNNs

Quynh Nguyen, Matthias Hein|arXiv (Cornell University)|Oct 30, 2017

Stochastic Gradient Optimization Techniques被引用数 55

ひとこと要約

この論文は、共有重みと最大プーリングを用いた深層CNNの損失ランドスケープと表現力を分析し、広い層が線形独立な特徴を生み出すこと、そして緩やかな条件の下でほぼ全ての臨界点が全局極小で訓練誤差がゼロになることを証明する。深さと幅は最適化と表現力に共同で影響を与える。

ABSTRACT

We analyze the loss landscape and expressiveness of practical deep convolutional neural networks (CNNs) with shared weights and max pooling layers. We show that such CNNs produce linearly independent features at a "wide" layer which has more neurons than the number of training samples. This condition holds e.g. for the VGG network. Furthermore, we provide for such wide CNNs necessary and sufficient conditions for global minima with zero training error. For the case where the wide layer is followed by a fully connected layer we show that almost every critical point of the empirical loss is a global minimum with zero training error. Our analysis suggests that both depth and width are very important in deep learning. While depth brings more representational power and allows the network to learn high level features, width smoothes the optimization landscape of the loss function in the sense that a sufficiently wide network has a well-behaved loss surface with almost no bad local minima.

研究の動機と目的

• 実用的な深層CNNの損失ランドスケープと表現力の理解を促す。
• 広いCNN層が線形独立な特徴表現を生み出す条件を確立する。
• 訓練誤差ゼロの全局極小の必要十分条件を導出する。
• CNNにおける深さと幅が最適化挙動に与える影響を示す。
• VGGやInceptionなどの実践的なアーキテクチャに合わせた理論結果を提供する。

提案手法

• 共有重みの下で畳み込み層、最大プーリング層、全結合層を備えたCNNアーキテクチャを定義する。
• パッチ、フィルタ、および重みの全体行列U_kへの写像を形式化する。
• データに関する仮定（Assumption 3.1）と活性化関数に関する仮定（Assumption 3.2）を述べる。
• 幅 n_k >= N の下で広い層における特徴の線形独立性を証明する（定理3.4）。
• 解析的活性化を用いた場合のほぼ確実な線形独立性を示す（定理3.5）。
• 勾配条件を通じた訓練誤差ゼロの条件と全局極小の分析（補題4.2, 4.3; 定理4.4, 4.5）。
• 有限サンプルに対する普遍的な表現力を提示する（系論3.6）。
• 幅の条件を満たすアーキテクチャ（例：VGG、Inception）における実用的な影響を議論する。

実験結果

リサーチクエスチョン

• RQ1 広いCNN層が線形独立な特徴表現を生み出すのはどのようなアーキテクチャ条件下か。
• RQ2 広いCNNが訓練誤差ゼロと全局極小を保証するのはいつか。
• RQ3 深さ、幅、活性化の選択がCNNの損失ランドスケープと最適化ダイナミクスにどのように影響するか。
• RQ4 共有重みと最大プーリングを用いたCNNの有限サンプルに対する表現力はどの程度か。

主な発見

• 幅 n_k >= N の層を持つ広いCNNは、その層で特徴表現を線形独立に生成する（一般的な活性化に対して）。
• 広い層の後に全結合層が続く場合、前提条件の下でほとんどすべての臨界点が訓練誤差ゼロになる。
• 最初のk層が解析的活性化であり、かつ n_k >= N のとき、広い層で非独立な特徴を生むパラメータ集合のLebesgue測度はゼロであり、すなわちほぼ確実に独立性が成り立つ。
• アーキテクチャの仮定を満たすネットワークにおいて、適切なパラメータ空間の部分集合内のすべての訓練誤差ゼロ点は全局極小に対応する（また、特定の条件下ではすべての臨界点が全局極小である）。
• Corollary: 出力がスカラーのCNNは最終隠れ層が十分に広い場合（n_{L-1} >= N）に、有限の訓練データ集合を普遍的に有限表現できる。
• MNISTの実証的証拠は理論的主張を支持する：広い層での特徴行列は最大ランクに達し、幅が増すにつれて訓練誤差をゼロへ導くことができる。