[論文レビュー] Learning One Convolutional Layer with Overlapping Patches

Surbhi Goel, Adam R. Klivans+1 more|arXiv (Cornell University)|Jul 3, 2018

Stochastic Gradient Optimization Techniques被引用数 26

ひとこと要約

この論文では、やや弱い分布的仮定の下で、重複するパッチを持つ1層の畳み込みニューラルネットワークを学習する、証明可能に効率的な確率的アルゴリズムであるConvotronを紹介する。このアルゴリズムは等単調回帰にインspiredされた更新ルールを用い、学習率のチューニングや特別な初期化を必要とせず、グローバルに収束する。また、分布がガウス分布の場合、唯一の非重複パッチを使用するだけで重みを効率的に回復できる。

ABSTRACT

We give the first provably efficient algorithm for learning a one hidden layer convolutional network with respect to a general class of (potentially overlapping) patches. Additionally, our algorithm requires only mild conditions on the underlying distribution. We prove that our framework captures commonly used schemes from computer vision, including one-dimensional and two-dimensional and stride convolutions. Our algorithm-- $Convotron$ -- is inspired by recent work applying isotonic regression to learning neural networks. Convotron uses a simple, iterative update rule that is stochastic in nature and tolerant to noise (requires only that the conditional mean function is a one layer convolutional network, as opposed to the realizable setting). In contrast to gradient descent, Convotron requires no special initialization or learning-rate tuning to converge to the global optimum. We also point out that learning one hidden convolutional layer with respect to a Gaussian distribution and just $one$ disjoint patch $P$ (the other patches may be arbitrary) is $easy$ in the following sense: Convotron can efficiently recover the hidden weight vector by updating $only$ in the direction of $P$.

研究の動機と目的

• 重複するパッチを持つ1層の畳み込みニューラルネットワークを学習する、証明可能に効率的なアルゴリズムの開発。
• データ分布に関する強い仮定への依存を減らし、基礎となる分布に対してやや弱い条件を要求すること。
• 特にガウス分布下で、唯一の非重複パッチが利用可能な場合でも、効率的な学習を可能にすること。
• 学習率のチューニングや特別な初期化を必要とせず、グローバル収束を達成できる、耐障害性の高い手法の設計。

提案手法

• Convotronは、等単調回帰にインspiredされた反復的更新ルールを用い、確率的かつノイズ耐性がある。
• アルゴリズムは、残差誤差と相関が最も高いパッチの方向に重みを更新するという、単純でグリーディーな戦略を採用する。
• 畳み込み層の構造を活用して、明示的な誤差逆伝播なしに重複するパッチに対して効率的に最適化する。
• 等単調制約を維持することで、目的関数の単調な改善を保証し、グローバル最適解に収束するように設計されている。
• 条件付き平均関数が1層の畳み込みネットワークであることを仮定するだけでよく、完全な実現可能性仮定は必要としない。

実験結果

リサーチクエスチョン

• RQ1 重複するパッチを持つ1層の畳み込みニューラルネットワークを学習する、証明可能に効率的なアルゴリズムを設計できるか？
• RQ2 やや弱い分布的仮定のもとでも、このアルゴリズムは効率的かつ耐障害性を保つのか？
• RQ3 唯一の非重複パッチが利用可能な場合、真の重みベクトルを効率的に回復できるか？
• RQ4 学習率のチューニングや特別な初期化を回避しながらも、グローバル収束を達成することは可能か？

主な発見

• Convotronは、一般の分布下で、重複するパッチを持つ1層の畳み込みニューラルネットワークを学習する、証明可能に効率的なアルゴリズムとして初めてのものである。
• 等単調回帰にインspiredされた更新ルールのおかげで、学習率のチューニングや特別な初期化を必要とせず、グローバル最適解に収束する。
• ガウス分布下では、Convotronは唯一の非重複パッチの方向への更新のみで、隠れ重みベクトルを効率的に回復できる。
• このフレームワークは、1次元、2次元、ストライド付き畳み込みを含む、標準的な畳み込み方式を特別なケースとして捉えることができる。