[論文レビュー] A Provably Correct Algorithm for Deep Learning that Actually Works

Eran Malach, Shai Shalev‐Shwartz|arXiv (Cornell University)|Mar 26, 2018

Anomaly Detection Techniques and Applications参考文献 13被引用数 20

ひとこと要約

本稿では、2層ネットワークにおける勾配更新と階層的生成モデルに基づく層ごとのクラスタリングを組み合わせることで、深層畳み込みネットワークの学習に対する新たな、収束性が保証されたアルゴリズムを提案する。強い理論的仮定が伴うものの、CIFAR-10において最高で73.4%の精度を達成し、標準的な深層学習の「テクニック」を用いずに、vanilla SGDベースのCNNと同等の性能を示した。

ABSTRACT

We describe a layer-by-layer algorithm for training deep convolutional networks, where each step involves gradient updates for a two layer network followed by a simple clustering algorithm. Our algorithm stems from a deep generative model that generates mages level by level, where lower resolution images correspond to latent semantic classes. We analyze the convergence rate of our algorithm assuming that the data is indeed generated according to this model (as well as additional assumptions). While we do not pretend to claim that the assumptions are realistic for natural images, we do believe that they capture some true properties of real data. Furthermore, we show that our algorithm actually works in practice (on the CIFAR dataset), achieving results in the same ballpark as that of vanilla convolutional neural networks that are being trained by stochastic gradient descent. Finally, our proof techniques may be of independent interest.

研究の動機と目的

• 理論的に整合性のある深層学習アルゴリズムと実用的性能の間のギャップを埋めること。
• 画像データの階層的生成モデルに基づく理論的仮定のもとで、収束保証を有する訓練アルゴリズムを開発すること。
• 理論的アルゴリズムが、CIFAR-10のような実世界のデータセットにおいて実用的性能を達成できることを示すこと。
• クラスタリングと2層ネットワークの訓練の組み合わせが性能に不可欠であることを、単なるランダム射影ではないことを実証すること。
• 理論的分析で用いられた強い分布的仮定を破っても、アルゴリズムが実際の性能を発揮することを検証すること。

提案手法

• アルゴリズムは、深層ネットワークを層ごとに訓練し、各段階で2層ネットワークを勾配降下法で更新する。
• 各勾配更新の後、K-meansクラスタリング手順により、パッチを重心に割り当て、離散的潜在表現を形成する。
• 各パッチは、学習されたカーネルを用いた3x3畳み込みにより1-of-kベクトルにマッピングされ、固定バイアスを用いたReLUにより正規直交埋め込みを近似する。
• 標準的なCNNアーキテクチャに合わせるため、ストライド1に2x2のマックスプーリングを適用する。
• 埋め込み特徴量上でAdamを用いて2層線形ネットワーク（1x1畳み込み + 全結合層）を分類の目的で訓練する。
• 2ブロック構造を形成するために、このプロセスを2回繰り返し、最終的に全特徴マップ上で分類器を最終訓練する。

実験結果

リサーチクエスチョン

• RQ1 理論的に収束性が保証された深層学習アルゴリズムは、実世界の画像データにおいて実用的性能を達成できるか？
• RQ2 層ごとの勾配更新とクラスタリングの組み合わせは、有効な特徴学習をもたらすか？
• RQ3 2層ネットワークの訓練ステップは性能にとって不可欠か、それともランダム射影に置き換え可能か？
• RQ4 理論的分析で用いられる強い分布的仮定が、アルゴリズムの実世界での性能にどの程度影響を及ぼすか？
• RQ5 一般的な最適化テクニックを一切使用しない場合、標準的なSGDベースのCNNと比較して、アルゴリズムの精度はどの程度か？

主な発見

• 提案されたアルゴリズムは、完全結合分類器を用いてCIFAR-10で73.4%のテスト精度を達成し、SGDで訓練された標準的なCNNと同等の性能を示した。
• 線形分類器を用いた場合、68.9%の精度に達し、ベースラインのCNNと比較して依然として同等の性能を示した。
• ランダム射影を用いた変種（Clustering+JL）は58.6%の精度にとどまり、2層ネットワークの訓練ステップが不可欠であることを示した。
• ランダム重みを用いたCNN（61.6%の精度）よりも性能が優れており、特徴学習が重要であることが示された。
• データオーグメンテーション、バッチ正規化、学習率スケジューリングを一切使用しない状態でも、競争力ある結果を達成した。これは、アルゴリズムが一般的な深層学習の「テクニック」が欠如しても安定であることを示している。
• 理論的分析で用いられた強いi.i.d.および階層的生成モデルの仮定を破っても、実際の性能が高く維持された。これは、これらの仮定が実データの本質的構造的性質を的確に捉えている可能性を示唆している。