[論文レビュー] Tight Sample Complexity of Learning One-hidden-layer Convolutional Neural Networks

Yuan Cao, Quanquan Gu|arXiv (Cornell University)|Nov 12, 2019

Machine Learning and ELM被引用数 15

ひとこと要約

本稿では、非重複フィルタを備えた1層隠れ層畳み込みニューラルネットワークのトレーニングのための近似勾配降下法を提案し、弱い初期化のもとで真のパラメータへの線形収束を達成する。線形活性化関数の場合に情報理論的下界に一致するタイトなサンプル複雑度を確立し、ReLU や Leaky ReLU などの一般の非自明で単調的かつリプシッツ連続な活性化関数へと拡張する。

ABSTRACT

We study the sample complexity of learning one-hidden-layer convolutional neural networks (CNNs) with non-overlapping filters. We propose a novel algorithm called approximate gradient descent for training CNNs, and show that, with high probability, the proposed algorithm with random initialization grants a linear convergence to the ground-truth parameters up to statistical precision. Compared with existing work, our result applies to general non-trivial, monotonic and Lipschitz continuous activation functions including ReLU, Leaky ReLU, Sigmod and Softplus etc. Moreover, our sample complexity beats existing results in the dependency of the number of hidden nodes and filter size. In fact, our result matches the information-theoretic lower bound for learning one-hidden-layer CNNs with linear activation functions, suggesting that our sample complexity is tight. Our theoretical analysis is backed up by numerical experiments.

研究の動機と目的

• 非重複フィルタと一般の活性化関数を備えた1層隠れ層CNNのトレーニングにおける一般的な収束保証の欠如に対処する。
• 特定の初期化、正確な勾配計算、滑らかさの仮定に依存する先行研究の制限を克服する。
• 解析的勾配の計算を要しない、広範な活性化関数クラスに適用可能な収束解析フレームワークを開発する。
• 線形活性化関数の場合に情報理論的下界に一致するサンプル複雑度を達成し、統計的最適性を示す。
• サンプル分割を用いないエムピリカルリスク最小化の統一的解析を提供する。

提案手法

• アルゴリズム1として、フィルタ重みと2層目のパラメータを同時に更新する近似勾配降下法を提案する。
• サンプル分割を用いないで、一様集中不等式を用いて経験的リスクを分析し、有限サンプルのフラクチュエーションに対してロバストであることを保証する。
• 非自明で単調的かつリプシッツ連続な活性化関数の性質を活用し、解析的勾配表現への依存を回避する。
• 再帰的解析を新規に導入し、確率的初期化のもとでも統計的精度までの線形収束を証明する。
• フィルタ構造と入力分布を分離するパrameterizationを導入し、非ガウス分布への一般化を可能にする。
• 共分散分解とFubiniの定理を用いて、勾配推定プロセスにおけるクロス項の依存性を制限する。

実験結果

リサーチクエスチョン

• RQ1 一般の非自明で単調的かつリプシッツ連続な活性化関数（ReLU, Leaky ReLU など）を備えた1層隠れ層CNNに対して、線形収束を達成できるか？
• RQ2 提案手法が線形活性化関数の場合に情報理論的下界に一致するサンプル複雑度を達成するか？
• RQ3 正確な2層目パラメータの知識や特異な初期化を必要とせずに収束保証を確立できるか？
• RQ4 一様分布やトランス楕円分布などの非ガウス入力分布に対しても、アルゴリズムがロバストであるか？
• RQ5 サンプル分割を用いないエムピリカルリスク最小化に拡張可能であり、タイトなサンプル複雑度を維持できるか？

主な発見

• 提案された近似勾配降下法は、弱い確率的初期化のもとで、高確率に真のパラメータへの線形収束を達成し、統計的精度まで到達する。
• サンプル複雑度は $ \widetilde{O}((k + r) \cdot \epsilon^{-2}) $ であり、線形活性化関数の場合の情報理論的下界に一致し、統計的最適性を示す。
• 本手法は、平滑性や解析的勾配計算を要しない点を除き、ReLU, Leaky ReLU, Sigmoid, Softplus など広範な活性化関数クラスに適用可能である。
• 数値実験により、単位球面上の一様分布やトランス楕円分布などの非ガウス入力に対しても、アルゴリズムが線形収束することが確認された。
• 双曲正接活性化関数の場合、本手法は収束に失敗するDouble Convotronを上回り、非対称的かつ非線形な活性化関数に対してもロバストであることを示した。
• 理論的解析ではサンプル分割を回避し、一様集中結果を用いることで、サンプル分割や強い分布仮定に依存する先行研究に比べてサンプル効率を向上させた。