[論文レビュー] End-to-end Learning of a Convolutional Neural Network via Deep Tensor Decomposition

Samet Oymak, Mahdi Soltanolkotabi|arXiv (Cornell University)|May 16, 2018

Tensor decomposition and applications被引用数 8

ひとこと要約

本稿では、トレーニングデータのランク-1テンソル分解を用いて畳み込みニューラルネットワーク（CNN）の重みをエンドツーエンドで学習する新規な手法であるDeep Tensor Decomposition（DeepTD）を提案する。サンプルサイズが全パラメータ数を超えると、符号／スケールのあいまいさを除き、埋め込まれた畳み込みカーネルを厳密に回復できることを理論的に示しており、実現可能モデル下での深層CNN学習におけるデータ効率性と理論的保証を確立する。

ABSTRACT

In this paper we study the problem of learning the weights of a deep convolutional neural network. We consider a network where convolutions are carried out over non-overlapping patches with a single kernel in each layer. We develop an algorithm for simultaneously learning all the kernels from the training data. Our approach dubbed Deep Tensor Decomposition (DeepTD) is based on a rank-1 tensor decomposition. We theoretically investigate DeepTD under a realizable model for the training data where the inputs are chosen i.i.d. from a Gaussian distribution and the labels are generated according to planted convolutional kernels. We show that DeepTD is data-efficient and provably works as soon as the sample size exceeds the total number of convolutional weights in the network. We carry out a variety of numerical experiments to investigate the effectiveness of DeepTD and verify our theoretical findings.

研究の動機と目的

• 勾配ベースの最適化に依存せずに、理論的裏付けに基づいたエンドツーエンドのアルゴリズムを、深層CNNの重みを学習する目的として開発すること。
• 深く過パラメータ化されたCNNのトレーニングには、実験的成果が顕著であるが、その厳密な理論的基盤が欠如しているという問題に取り組むこと。
• ガウス入力と埋め込まれたカーネルを想定する実現可能モデル下で、CNNの学習におけるデータ効率性とサンプル複雑度の境界を確立すること。
• テンソル分解技術とディープラーニングを結びつけ、初期化や深層ネットワークの理論的分析のための新たな道筋を提供すること。

提案手法

• 非オーバーラップ畳み込みの構造を活用して、トレーニングデータの特徴量とラベルから高次元テンソルを構築する。
• 実現可能モデル下では、母集団テンソルが近似的にランク-1であることに着目し、その要因がカーネル方向を符号化していることを活用する。
• 有限なデータからのランク-1構造の推定に、経験的テンソル近似を用い、誤差はサンプルサイズが増加するにつれて減少する。
• 経験的テンソルからカーネル方向を抽出するためにテンソル分解アルゴリズムを適用し、CNN重みのエンドツーエンド回復を可能にする。
• サンプル数が全パラメータ数を超えると、カーネル回復が可能であることを示す理論的境界を確立する。
• ランク-1構造と集中不等式を活用して、カーネル回復における符号およびスケールのあいまいさを処理する。

実験結果

リサーチクエスチョン

• RQ1 勾配ベースの最適化に依存せずに、トレーニングデータのみを用いて深層CNNの重みを証明可能にエンドツーエンドで学習できるか？
• RQ2 実現可能モデル下で、深層CNNにおける成功したカーネル回復に必要な最小のトレーニングサンプル数は何か？
• RQ3 有限なデータから構築された経験的テンソルは、母集団テンソルをどの程度近似するか？また、データ量が増えるとその近似はどのように改善されるか？
• RQ4 深さと非線形性を有するCNNのような深層非線形アーキテクチャに対し、テンソル分解技術をどの程度適用できるか？
• RQ5 データテンソルのランク-1構造を活用して、実用的なCNNトレーニングにおける確率的勾配降下法の初期化や誘導に応用できるか？

主な発見

• DeepTDは、トレーニングサンプル数がネットワーク内の全パラメータ数を超えると、符号およびスケールのあいまいさを除き、畳み込みカーネル方向を証明可能に回復する。
• 経験的テンソルと母集団テンソルの差は、サンプルサイズが増加するにつれて減少し、サンプルサイズがパrameter数に比例するようになると、無視できるほど小さくなる。
• 本アルゴリズムはデータ効率性を達成し、成功した回復にはパラメータ数のオーダーのサンプルサイズで十分である。
• 理論的分析により、サンプルサイズがパrameter数とネットワークの深さを含む条件を満たす場合、学習モデルの一般化誤差が高確率で有界であることが示された。
• 関数クラスのカバー数が有界であるため、集中不等式を用いて一様収束性および一般化境界を導出可能である。
• 実験的結果は理論的予測を確認しており、さまざまなネットワークの深さやアーキテクチャにおいて、効果的なカーネル回復と頑健性が示された。