[論文レビュー] On the Optimal Expressive Power of ReLU DNNs and Its Application in Approximation with Kolmogorov Superposition Theorem

Juncai He|arXiv (Cornell University)|Aug 10, 2023

Neural Networks and Applications被引用数 4

ひとこと要約

この論文は、$L$ 隠れ層と各層に $N$ 個のニューロンを有する ReLU 深層ニューラルネットワーク（DNN）が、$[0,1]$ 上の任意の連続な区分線形（CPwL）関数を $\mathcal{O}(N^2L)$ 個のセグメントで正確に表現できることを確立し、パrameter数の観点からこの構成が最適であることを証明している。さらに、コルモゴロフのスーパーポジション定理を活用することで、$\mathcal{O}(P)$ 個のパrameterを有する ReLU DNN を用いて、高次元空間における連続関数の近似レートを $\mathcal{O}(P^{-1})$ まで向上させた。

ABSTRACT

This paper is devoted to studying the optimal expressive power of ReLU deep neural networks (DNNs) and its application in approximation via the Kolmogorov Superposition Theorem. We first constructively prove that any continuous piecewise linear functions on $[0,1]$, comprising $O(N^2L)$ segments, can be represented by ReLU DNNs with $L$ hidden layers and $N$ neurons per layer. Subsequently, we demonstrate that this construction is optimal regarding the parameter count of the DNNs, achieved through investigating the shattering capacity of ReLU DNNs. Moreover, by invoking the Kolmogorov Superposition Theorem, we achieve an enhanced approximation rate for ReLU DNNs of arbitrary width and depth when dealing with continuous functions in high-dimensional spaces.

研究の動機と目的

• ReLU DNNが $L$ 隠れ層と各層に $N$ ニューロンを有する場合、$[0,1]$ 上の任意のCPwL関数を $\mathcal{O}(N^2L)$ 個のセグメントで正確に表現できるかどうかを特定すること。
• この表現が、必要なパラメータ数の観点から最適であることを証明すること。
• コルモゴロフのスーパーポジション定理を応用し、高次元空間における連続関数のReLU DNNによる近似レートを向上させること。
• ReLU DNNの表現能力と、KSTによって定義されるK-Lipschitz連続関数の関数クラスとの間の関係を確立すること。

提案手法

• 対称的なReLU DNNアーキテクチャを構築し、2つの隠れ層と各層に $\mathcal{O}(N)$ 個のニューロンを用いて、$[0,1]$ 上で $N^2$ 個のセグメントを持つCPwL関数を正確に表現する。
• 2層構造の一般化を用いて、各層に $N$ 個のニューロンを有する $L$ 層のネットワークに一般化し、任意の深さ $L$ に対する構成を拡張する。
• ReLU DNNのシャッタリング容量を分析することで、$\mathcal{O}(N^2L)$ 個のセグメントが、このような表現に必要な最小のパラメータ数であることを示し、最適性を確立する。
• コルモゴロフのスーパーポジション定理を用いて、多変数連続関数を一変数関数の合成に分解し、高次元近似を可能にする。
• K内関数およびK外関数をReLU DNNで近似し、モジュラス連続性およびリプシッツ連続性を用いて誤差バウンドを導出する。
• K-Lipschitzクラス $K_C$ に属する関数に対して、近似誤差バウンドを $\mathcal{O}(P^{-1})$ として導出する。ここで $P$ は総パラメータ数である。

実験結果

リサーチクエスチョン

• RQ1 ReLU DNNが $L$ 隠れ層と各層に $N$ ニューロンを有する場合、$[0,1]$ 上の任意のCPwL関数を $\mathcal{O}(N^2L)$ 個のセグメントで正確に表現できるか？
• RQ2 このパラメータ数が、このようなCPwL関数の表現において最適であるか？
• RQ3 コルモゴロフのスーパーポジション定理を活用することで、高次元空間における連続関数のReLU DNNの近似レートを向上させることができるか？
• RQ4 任意の深さおよび幅を有する、$\mathcal{O}(P)$ パラメータを有するReLU DNNを用いた場合、K-Lipschitzクラス $K_C$ に属する関数の近似誤差レートは何か？

主な発見

• ReLU DNNが $L$ 隠れ層と各層に $N$ ニューロンを有する場合、$[0,1]$ 上の任意のCPwL関数を $\mathcal{O}(N^2L)$ 個のセグメントで正確に表現できる。
• ReLU DNNのシャッタリング容量を分析することで、この構成がパラメータ数の観点から最適であることが示された。
• K-Lipschitzクラス $K_C$ に属する関数の近似誤差は、$\mathcal{O}(P^{-1})$ でバウンドされる。ここで $P$ は総パラメータ数である。
• 誤差バウンドは $(6d+3)\omega_g(C_d N^{-2}L^{-1})$ として導出され、深さ $L$ および幅 $N$ への明示的な依存関係が示された。
• 従来の研究では2層ネットワークで $\mathcal{O}(P^{-1/2})$ の近似レートであったが、本結果はそれよりも速い近似レートを達成した。
• 本構成は、従来のReLU DNN表現力に関する研究の証明を簡素化し、高次元一般化やビット抽出に基づく近似への道筋を開いた。