[論文レビュー] Banach Space Representer Theorems for Neural Networks and Ridge Splines

Rahul Parhi, Robert D. Nowak|arXiv (Cornell University)|Jun 10, 2020

Neural Networks and Applications参考文献 64被引用数 37

ひとこと要約

この論文はRadon領域における総変動正則化を用いた変分フレームワークを開発し、表現定理を証明する：有限幅・単一隠れ層ニューラルネットワークが連続領域の逆問題を解くこと、多項式リッジスプラインを導入し、正則化項を一般的なNNの慣行と結びつける。

ABSTRACT

We develop a variational framework to understand the properties of the functions learned by neural networks fit to data. We propose and study a family of continuous-domain linear inverse problems with total variation-like regularization in the Radon domain subject to data fitting constraints. We derive a representer theorem showing that finite-width, single-hidden layer neural networks are solutions to these inverse problems. We draw on many techniques from variational spline theory and so we propose the notion of polynomial ridge splines, which correspond to single-hidden layer neural networks with truncated power functions as the activation function. The representer theorem is reminiscent of the classical reproducing kernel Hilbert space representer theorem, but we show that the neural network problem is posed over a non-Hilbertian Banach space. While the learning problems are posed in the continuous-domain, similar to kernel methods, the problems can be recast as finite-dimensional neural network training problems. These neural network training problems have regularizers which are related to the well-known weight decay and path-norm regularizers. Thus, our result gives insight into functional characteristics of trained neural networks and also into the design neural network regularizers. We also show that these regularizers promote neural network solutions with desirable generalization properties.

研究の動機と目的

• ニューラルネットワークがデータを用いて適合された連続領域の逆問題から学習した関数の性質を理解する。
• Radon領域でTV様似の半ノルムの族を開発し、ニューラルネットタイプの解を生み出す。
• 対応する variational 解としてリッジスプラインを導入し、それを一変数スプラインと関連づける。
• これらの結果がニューラルネットの正則化効果と一般化特性を説明する方法を示す。

提案手法

• Radon領域とデータ適合項におけるTV様正則化を伴う連続領域線形逆問題を定式化する。
• Radon変換、 rampフィルタ、Radon領域の微分に基づくm次の半ノルム族 ||·||_(m) を定義する。
• 表現定理を証明する：スパースな解は単一隠れ層ニューラルネットワークと低次数の多項式（式(10)）の和である。
• 問題を有限次元のNN訓練問題として再表現できることを示し、正則化項はウェイト減衰とパスノルムに関連する（式(14)–(16)）。
• Radon領域における演算子 R_m とディラック impulses によって非一様多項式リッジスプラインを定義する（定義 4–5）。
• m=2 をReLUネットワークに関連づけ、均質性とスキップ接続を論じる（備考 2–3）。

実験結果

リサーチクエスチョン

• RQ1 Radon領域におけるTV様正則化を持つ連続領域の逆問題は、スパースなニューラルネットワークタイプの解を許すか。
• RQ2 提案されたRadon領域半ノルムは学習関数クラスをどう特徴づけ、標準のNN正則化とどう関連するか。
• RQ3 Radon領域のリッジスプラインとさまざまな活性化を持つニューラルネットワークとの関係はどうなるか。
• RQ4 有限幅ネットワークへ拡張可能か、半ノルムの境界を通じた一般化への洞察を提供するか。

主な発見

• 逆問題にはスパースな最小解が存在し、それは単一隠れ層ニューラルネットワークと多項式の和の形になる（K ≤ N − dim(N_m)）。
• 半ノルム ||·||_(m) はRadon領域でTV様で、m=2 の場合表現定理はReLUネットワークに簡約する。
• 有限次元のNN訓練問題（式(14)–(16)）はウェイト減衰とパスノルムに類似した正則化に対応し、連続的定式化と離散的定式化を結びつける。
• 小さな半ノルムで訓練されたニューラルネットは、Rademacher複雑性の境界を通じて一般化特性を示す（2値分類設定）。
• 非一様多項式リッジスプラインはRadon領域フレームワークにおけるニューラルネット構造を多変数一般化として提供する。
• このフレームワークは関数空間の非ヒルベルト的トポロジーを強調するバナッハ空間ベースの表現定理をもたらす。