[論文レビュー] A representer theorem for deep neural networks

Michaël Unser|arXiv (Cornell University)|Feb 26, 2018

Sparse and Compressive Sensing Techniques参考文献 32被引用数 5

ひとこと要約

本稿では、2階全 Variation 正則化を用いて活性化関数の最適化を関数的正則化問題として定式化することにより、深層ニューラルネットワークの代表定理を提案する。主な結果として、最適なネットワークが適応的ノットを有する非一様線形スプラインを用いることが示され、深層学習とスプライン、スパarsityの間の関係を確立し、ReLU、PReLU、APL、MaxOutといったアーキテクチャを、明示的なスパarsity促進特性を有するℓ₁最小化を伴う統一的な変分枠組みで統合する。

ABSTRACT

We propose to optimize the activation functions of a deep neural network by adding a corresponding functional regularization to the cost function. We justify the use of a second-order total-variation criterion. This allows us to derive a general representer theorem for deep neural networks that makes a direct connection with splines and sparsity. Specifically, we show that the optimal network configuration can be achieved with activation functions that are nonuniform linear splines with adaptive knots. The bottom line is that the action of each neuron is encoded by a spline whose parameters (including the number of knots) are optimized during the training procedure. The scheme results in a computational structure that is compatible with the existing deep-ReLU, parametric ReLU, APL (adaptive piecewise-linear) and MaxOut architectures. It also suggests novel optimization challenges, while making the link with $\ell_1$ minimization and sparsity-promoting techniques explicit.

研究の動機と目的

• カーネル法と正則化理論にインspiredされた変分原理を通じて、深層ニューラルネットワークの設計と学習を統一すること。
• モデルの普遍性とパラメータの簡潔さの間の緊張を解消するため、活性化関数に関数的正則化を導入すること。
• 深層ニューラルネットワークとスプライン、特にℓ₁最小化を通じたスパarsityとの理論的基盤を確立すること。
• 既存のアーキテクチャ（例：ReLU、MaxOut、APL）を、ネットワーク構造とパrameterの両方を最適化する単一の数学的枠組みに一般化すること。
• 最適解が適応的ノットを有するスパースでスプラインに基づく関数空間内に存在することを保証する代表定理を提供すること。

提案手法

• 2階全 Variation 正則化を用いた関数空間上の関数的最小化問題として深層学習問題を定式化する。
• 正則化空間を定義するため、スプライン適合可能微分作用素 L = D²（2階微分）を導入し、これにより区分線形活性化関数が得られる。
• Banach空間における一般化補間の代表定理を適用し、極値解が適応的ノットを有する非一様線形スプラインであることを示す。
• 最適なネットワーク構成が、s(x) = Σbₙpₙ(x) + Σaₖρₗ(x−τₖ) の形の活性化関数に対応することを導出する。ここでρₗは作用素Lのグリーン関数である。
• 有界 Variation 関数空間 BV⁽²⁾(ℝ) 上でサンプリング機能（δ(x−xₘ)）の弱*-連続性を確立し、最適化問題の適切な定式化を保証する。
• 正則化ノルム ∥Lf∥ₘ がスプライン係数のℓ₁ノルム ∥a∥₁ に等しいことを示し、直接的にスパarsity促進最適化と結びつける。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークのアーキテクチャとパrameterを同時に最適化できる統一的な変分枠組みを開発できるか？
• RQ2 深層ニューラルネットワークに対して、スプラインに基づく最適な活性化関数を特徴づける代表定理は存在するか？
• RQ3 2階全 Variation 正則化は、一般化性能が高く、スパースで適応的ノットを有する活性化関数をもたらすか？
• RQ4 提案された枠組みは、ReLU、PReLU、APL、MaxOutといった既存のアーキテクチャを、単一の数学的原理でどのように統合するか？
• RQ5 正則化枠組みは、深層学習におけるℓ₁最小化とどの程度関連し、スパarsityを促進するか？

主な発見

• 2階全 Variation 正則化のもとでの最適な深層ニューラルネットワーク構成は、適応的ノットを有する非一様線形スプラインであり、各ニューロンの活性化は最適化されたノット位置を持つ区分線形関数である。
• 正則化ノルム ∥Lf∥ₘ はスプライン係数のℓ₁ノルム ∥a∥₁ に等しく、最適化が明示的にスパarsity促進のℓ₁最小化と結びついている。
• 解空間は有限個の基底関数とディラックデルタに類似したグリーン関数によって張られ、最適なネットワークが活性化関数パrameterに関してスパース表現を持つことを保証する。
• 本フレームワークは、ReLU、PReLU、APL、MaxOutなどの既存の深層学習アーキテクチャと互換性があり、これらが提案されたスプラインベースの活性化関数の特別な場合として見なせることを示す。
• サンプリング機能 f ↦ f(xₘ) は BV⁽²⁾(ℝ) 上で弱*-連続であり、補間問題の適切な定式化と一意解の存在を保証する。
• 2階微分作用素 D² の核空間はアフィン関数（1, x）で張られ、データ点がすべて同一でない限り補間問題が適切に定式化されることを保証する。