[論文レビュー] Improved Learning of One-hidden-layer Convolutional Neural Networks with Overlaps

Simon S. Du, Surbhi Goel|arXiv (Cornell University)|May 20, 2018

Neural Networks and Applications参考文献 27被引用数 6

ひとこと要約

本稿では、重複するパッチを用いる1層の畳み込みニューラルネットワークを学習するための、初めての証明可能に効率的なアルゴリズムを提示する。このアルゴリズムは、共有畳み込みフィルタと出力重みという2つの未知パラメータを同時に学習する。等配分回帰、非凸な損失関数の幾何的性質、およびトーペリッツ行列のスペクトル特性を組み合わせることで、ストライドが $ s \geq \lfloor r/2 \rfloor + 1 $ を満たす場合、対称的かつ等方的分布に加え、区分的線形活性化関数を用いる条件下で多項式時間の学習可能性を示している。

ABSTRACT

We propose a new algorithm to learn a one-hidden-layer convolutional neural network where both the convolutional weights and the outputs weights are parameters to be learned. Our algorithm works for a general class of (potentially overlapping) patches, including commonly used structures for computer vision tasks. Our algorithm draws ideas from (1) isotonic regression for learning neural networks and (2) landscape analysis of non-convex matrix factorization problems. We believe these findings may inspire further development in designing provable algorithms for learning neural networks and other complex models.

研究の動機と目的

• 畳み込みフィルタと出力重みを未知パラメータとして持つ1層畳み込みニューラルネットワークの、証明可能に効率的な学習アルゴリズムの設計。
• 従来の非重複パッチの研究を、コンピュータビジョンで一般的に用いられるより一般的な重複パッチの設定に拡張すること。
• 重複構造下で失敗するか、強い分布仮定を必要とする勾配ベースの手法の限界を克服すること。
• 入力分布の知識を仮定しない、適切な（proper）学習アルゴリズムの開発。
• 対称性と等方性の入力分布の仮定のもとで、収束性と一般化性能に関する理論的保証を、弱い仮定のもとで確立すること。

提案手法

• 等配分回帰の知見を応用して、区分的線形活性化関数ネットワークの学習を線形活性化関数ネットワークの問題に還元する。このアイデアは、Goelら（2018）に由来する。
• 畳み込みフィルタの学習を、非凸な行列因子分解問題として再定式化し、損失関数の幾何的性質を活用して収束を保証する。
• 出力重みからなるトーペリッツ行列のスペクトル特性を分析し、その最小固有値に対して下界 $ 1 - \cos(\pi/(k+1)) $ を証明する。
• 3段階の手続きを採用する：(1) 等配分回帰を用いて出力重みを推定、(2) Robust版のConvotronアルゴリズムを用いて畳み込みフィルタを回復、(3) 経験的リスク最小化により最良の仮説を選択。
• 一般化誤差のバウンドにはホフディングの不等式を用い、2番目の層における近似誤差に対するConvotronアルゴリズムのロバストネス解析も行う。
• 本アルゴリズムは適切な（proper）設計であり、テンソル分解法とは異なり、入力分布の密度関数の知識を必要としない。

実験結果

リサーチクエスチョン

• RQ1 重複パッチと2つの未知重み行列を有する1層畳み込みニューラルネットワークを学習する、証明可能に効率的なアルゴリズムを設計できるか？
• RQ2 区分的線形活性化関数から線形活性化関数への等配分回帰に基づく還元は、重複構造下でも効率的な学習を可能にするか？
• RQ3 非凸な損失関数の幾何的性質とトーペリッツ行列のスペクトル特性は、この設定においてグローバル最適解への収束を保証できるか？
• RQ4 対称的かつ等方的入力分布下でのアルゴリズムの性能はいかにか？また、ストライドサイズに必要な条件は何か？
• RQ5 2番目の層の重みにおける近似誤差に対して、アルゴリズムは依然として低予測誤差を達成できるか？

主な発見

• ストライドが $ s \geq \lfloor r/2 \rfloor + 1 $ を満たす場合、対称的かつ等方的入力分布のもとで、重複パッチを有する1層畳み込みニューラルネットワークに対して、多項式時間での収束が達成される。
• 入力ノルムの上限 $ B $ を用いて、母集団リスクは高確率で $ \epsilon $ 以内に抑えられ、$ \mathrm{poly}(k, \|\mathbf{w}^*\|, B, \log(1/\epsilon)) $ 回の反復後に達成される。
• 行列 $ \mathbf{P}^\mathbf{a} $ の最小固有値は $ 1 - \cos(\pi/(k+1)) $ 以上に下界が与えられ、非凸最適化段階における安定性と収束性が保証される。
• 高確率で、$ \mathbf{w}^{(+)} $ または $ \mathbf{w}^{(-)} $ のいずれかが真のフィルタ $ \mathbf{w}^* $ から $ O(\epsilon / (\sigma_1 r^{1/2} k^{3/2})) $ の距離内にある。
• 最終的な仮説は、入力分布の期待値において $ \epsilon $ の予測誤差を達成し、サンプル複雑度は $ k, r, B, \sigma_1, \epsilon^{-1} $ の多項式関数として有界である。
• 本手法はガウス分布の仮定を越えて一般化可能であり、入力密度関数の知識を必要とせず、テンソルベースやカーネルベースの手法とは明確に異なる。