[論文レビュー] A Provably Efficient Algorithm for Training Deep Networks

Roi Livni, Shai Shalev‐Shwartz+1 more|arXiv (Cornell University)|Apr 26, 2013

Machine Learning and Algorithms参考文献 23被引用数 18

ひとこと要約

本稿では、各ノードが入力の2次関数を計算する深層ニューラルネットワークのトレーニングのための、証明可能に効率的な段階的アルゴリズム「Basis Learner」を提案する。この手法は、弱い条件下でも誤差の単調な減少を保証し、ゼロ誤差への収束を達成する。多項関数の学習において、カーネル法などの浅いアーキテクチャを上回る性能を発揮する。

ABSTRACT

We consider deep neural networks, in which the output of each node is a quadratic function of its inputs. Similar to other deep architectures, these networks can compactly represent any function on a finite training set. The main goal of this paper is the derivation of an efficient layer-by-layer algorithm for training such networks, which we denote as the \emph{Basis Learner}. The algorithm is a universal learner in the sense that the training error is guaranteed to decrease at every iteration, and can eventually reach zero under mild conditions. We present practical implementations of this algorithm, as well as preliminary experimental results. We also compare our deep architecture to other shallow architectures for learning polynomials, in particular kernel learning.

研究の動機と目的

• 2次活性化関数を備えた深層ネットワークのための普遍的なトレーニングアルゴリズムを開発し、誤差の単調な減少を保証すること。
• 弱い条件下でもトレーニング誤差がゼロに収束することを達成し、ロバストネスと効率性を確保すること。
• 多項関数の学習において、提案された深層アーキテクチャを浅いモデル、特にカーネル法と比較すること。
• アルゴリズムの有効性を実装および実験的に検証すること。

提案手法

• Basis Learnerは、段階的最適化戦略を採用し、繰り返しトレーニング誤差を最小化するようにネットワーク重みを更新する。
• 各層の重みは、2次誤差関数を最小化することで得られる閉形式解を用いて更新される。
• アルゴリズムは2次活性化関数の構造を活用し、各ステップでグローバル収束と誤差の減少を保証する。
• 勾配ベースの最適化の欠点を避けるために、計算的に効率的な設計がなされている。
• 有限のトレーニング集合に対して、ネットワークを普遍的な関数近似器とみなす。多項式のコンact表現の特徴を活用する。
• トレーニングプロセスは解析的に、各反復で誤差が減少することが保証され、弱い仮定のもとでゼロに収束する。

実験結果

リサーチクエスチョン

• RQ1 2次活性化関数を備えた深層ネットワークは、誤差の減少を保証する形で、効率的にトレーニング可能か？
• RQ2 提案された段階的アルゴリズムは、多項関数の学習において、カーネル法などの浅いモデルを上回るか？
• RQ3 トレーニング誤差がゼロに収束する条件は何か？
• RQ4 実際の応用において、Basis Learnerは既存の手法と比較して収束速度と精度の点で優れているか？

主な発見

• Basis Learnerは、各反復でトレーニング誤差が減少することを保証し、安定的かつ予測可能な最適化を実現する。
• 弱い条件下でもアルゴリズムはゼロトレーニング誤差に到達可能であり、有限のトレーニング集合に対して普遍性を示す。
• 2次活性化関数を備えた深層アーキテクチャは、浅いカーネル法と比較して、多項関数の表現をよりコンactに実現できる。
• Basis Learnerの実装例では、予備実験で有望な収束特性が観察された。
• 解析的更新ルールのおかげで、勾配ベース手法にありがちなハイパーパramータチューニングの必要がなくなる。