[論文レビュー] Neural Networks, Ridge Splines, and TV Regularization in the Radon Domain.

Rahul Parhi, Robert D. Nowak|arXiv (Cornell University)|Jun 10, 2020

Advanced Numerical Analysis Techniques参考文献 35被引用数 5

ひとこと要約

本稿は、単一隠れ層ニューラルネットワークとラドン領域における全 variation に類似した正則化を施した連続領域における逆問題を結びつける変分枠組みを提案する。代表定理を証明し、有限幅のネットワークがこれらの問題を解くことを示し、リッジスプラインとの関連を明らかにするとともに、重み減衰やパスノルム正則化子の一般化への利点を非ヒルバート型バナッハ空間の定式化によって説明する。

ABSTRACT

We develop a variational framework to understand the properties of the functions learned by neural networks fit to data. We propose and study of a family of continuous-domain linear inverse problems with total variation-like regularization in the Radon domain subject to data fitting constraints. We derive a representer theorem showing that finite-width, single-hidden layer neural networks are solutions to these inverse problems. We draw on many techniques from variational spline theory and so we propose the notion of a ridge spline, which corresponds to fitting data with a single-hidden layer neural network. The representer theorem is reminiscent of the classical Reproducing Kernel Hilbert space representer theorem, but the neural network problem is set in a non-Hilbertian Banach space. Although the learning problems are posed in the continuous-domain, similar to kernel methods, the problems can be recast as finite-dimensional neural network training problems. These neural network training problems have regularizers which are related to the well-known weight decay and path-norm regularizers. Thus, our result gives insight into functional characteristics of trained neural networks and also into the design neural network regularizers. We also show that these regularizers promote neural network solutions with desirable generalization properties.

研究の動機と目的

• データ上で訓練されたニューラルネットワークの関数的性質を説明するための変分枠組みを構築すること。
• データ適合制約のもとで、ラドン領域における全 variation に類似した正則化を施した連続領域における線形逆問題を定式化すること。
• 単一隠れ層ニューラルネットワークとこれらの逆問題の解との間の理論的関係を確立すること。
• リッジスプラインの概念を導入し、ニューラルネットワークのフィッティングの連続領域アナログとして位置づけること。
• 重み減衰やパスノルム正則化子といったニューラルネットワーク正則化子の一般化特性についての洞察を提供すること。

提案手法

• データ適合制約のもとで、ラドン領域における全 variation に類似した正則化を施した連続領域線形逆問題を定式化する。
• 変分スプライン理論の技術を応用し、ニューラルネットワークの解が存在する関数空間を定義する。
• リッジスプラインの概念を導入し、単一隠れ層ニューラルネットワークの出力関数の連続的表現として位置づける。
• 非ヒルバート型バナッハ空間における代表定理を導出し、有限幅のネットワークが逆問題の最適解であることを示す。
• 標準的なニューラルネットワーク学習を、連続的定式化から導かれる有限次元問題に再解釈する。
• 得られた正則化子が重み減衰やパスノルム正則化と等価または密接に関連していることを示す。

実験結果

リサーチクエスチョン

• RQ1 単一隠れ層ニューラルネットワークは、どのように連続領域における逆問題の解として特徴付けられるか？
• RQ2 ラドン領域における全 variation 正則化が、訓練済みニューラルネットワークの関数的形をどのように規定するか？
• RQ3 ニューラルネットワーク用の代表定理は、その背後にある関数空間の観点から、古典的再生核ヒルバート空間定理とどのように異なるか？
• RQ4 導出された正則化子は、既存の重み減衰やパスノルム正則化とどのような関係にあるか？
• RQ5 これらの正則化子は、ニューラルネットワーク解の一般化をどのように促進するか？

主な発見

• 有限幅の単一隠れ層ニューラルネットワークが、ラドン領域における全 variation に類似した正則化を施した連続領域逆問題の解であることが示された。
• 確立された代表定理は非ヒルバート型バナッハ空間に適用可能であり、古典的な RKHS 結果をニューラルネットワーク設定に拡張した。
• 本フレームワークは、リッジスプラインをニューラルネットワーク関数近似の連続領域アナログとして導入し、スプライン理論とニューラルネットワーク学習を統合した。
• 有限次元学習定式化における導出された正則化子が、重み減衰やパスノルム正則化と等価または密接に関連していることが示された。
• これらの正則化子は、ラドン領域正則化の構造を通じて、ニューラルネットワーク解の一般化特性の向上と関連している。
• 連続領域定式化により、ニューラルネットワークの挙動に対する理論的分析が可能になるとともに、実用的な有限次元学習手順の実装が可能になった。