[論文レビュー] On the Banach spaces associated with multi-layer ReLU networks: Function representation, approximation theory and gradient descent dynamics

E Weinan, Stephan Wojtowytsch|arXiv (Cornell University)|Jul 30, 2020

Model Reduction and Neural Networks参考文献 38被引用数 18

ひとこと要約

本稿は、深層ReLUネットワークのための新しいバナッハ空間のクラスを導入し、次元に依存しない近似レートと低いラデマッハ複雑度を実現することで、良好な一般化を保証する。無限に広い多層ネットワークにおける連続的勾配フロー動的を確立し、パスノルムが高々多項式的に増加することを示し、深層学習理論における関数表現とノルム選択の正当化を図る。

ABSTRACT

We develop Banach spaces for ReLU neural networks of finite depth $L$ and infinite width. The spaces contain all finite fully connected $L$-layer networks and their $L^2$-limiting objects under bounds on the natural path-norm. Under this norm, the unit ball in the space for $L$-layer networks has low Rademacher complexity and thus favorable generalization properties. Functions in these spaces can be approximated by multi-layer neural networks with dimension-independent convergence rates. The key to this work is a new way of representing functions in some form of expectations, motivated by multi-layer neural networks. This representation allows us to define a new class of continuous models for machine learning. We show that the gradient flow defined this way is the natural continuous analog of the gradient descent dynamics for the associated multi-layer neural networks. We show that the path-norm increases at most polynomially under this continuous gradient flow dynamics.

研究の動機と目的

• 無限に広いが有限な深さを持つ多層ReLUネットワークのための厳密な関数空間フレームワークを構築すること。
• 新しい関数表現を通じて、離散的深層ネットワーク学習と連続的勾配フロー動的の間の接続を確立すること。
• 提案されたバナッハ空間が低いラデマッハ複雑度をもたらし、良好な一般化特性を示すことの証明。
• 連続的勾配フロー下でパスノルムが高々多項式的に増加することの証明により、安定した学習動的を保証すること。
• 木構造のインデックス構造と期待値に基づく関数表現を用いて、2層ネットワークからの近似理論を深層ネットワークへ拡張すること。

提案手法

• 重みインデックスを木構造に再編成することで「ニューラルツリー空間」を導入し、深層ネットワーク関数近似の線形化された視点を可能にする。
• 重みパスの期待値に基づく新しいパスノルムを定義し、再パラメータ化に対して不変であり、一般化を制御することを可能にする。
• 木構造的重み分布上の期待値の合成として関数のインデックス表現を構築し、連続的モデリングを可能にする。
• 深層ネットワークの離散的勾配降下法に由来する、ニューラルツリースペースの部分空間上での連続的勾配フロー動的を構築する。
• 測度論的道具を用いて関数空間を厳密に定義し、勾配フローの存在および一意性を証明する。
• 直接的および逆近似定理を適用し、空間に属する関数が入力次元$d$に依存しない収束レートで近似可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 どのようなバナッハ空間構造が、深層ReLUネットワークにおける低いラデマッハ複雑度と次元に依存しない近似を支持するか？
• RQ2 深層ネットワークの関数を、連続的最適化と一般化解析を可能にする方法でどのように表現できるか？
• RQ3 深く無限に広いネットワークにおける連続的勾配フロー動的下で、パスノルムの挙動はいかなるものか？
• RQ4 有限深さで無限に広いReLUネットワークの離散的勾配降下法が、定義された関数空間上での連続的勾配フローの離散化として回復可能か？
• RQ5 提案された関数空間は、バロン空間などの既存の空間とどのように関係し、深層学習理論においてどのような利点を有するか？

主な発見

• L層のReLUネットワークのための提案されたバナッハ空間は、低いラデマッハ複雑度を有し、パスノルム制約下で良好な一般化を保証する。
• この空間に属する関数は、入力次元$d$に依存しない収束レートで多層ニューラルネットワークによって近似可能である。
• 連続的勾配フロー動的は適切に定義されており、安定しており、パスノルムが時間に対して高々多項式的に増加する。
• 有限深さで無限に広いReLUネットワークの勾配降下法の動的は、提案された連続的勾配フローの離散化として回復可能である。
• ニューラルツリースペースは、深層ネットワークの自然な関数空間を提供し、直接的および逆近似定理を両方満たす。
• 連続的学習下でもパスノルムは有界のまま保たれ、モデルの安定性と学習可能性を支持する。