[論文レビュー] The Kolmogorov Superposition Theorem can Break the Curse of Dimensionality When Approximating High Dimensional Functions

Ming‐Jun Lai, Zhaiming Shen|arXiv (Cornell University)|Dec 18, 2021

Statistical and numerical algorithms被引用数 11

ひとこと要約

本稿では、Kolmogorov超和定理（KST）が、ReLUニューラルネットワークとLKBスプラインを用いて、次元に依存しない近似を可能にし、唯一の主要なデータポイント数がO(nd)であるため、次元の呪いを打ち破ることを示している。この方法により、O(n⁻¹)の近似レートを達成する。行列クロス近似を用いてスパースで効果的なデータポイントのサブセットを選択することで、高次元における効率的かつ高精度な関数近似が可能になる。

ABSTRACT

We explain how to use Kolmogorov Superposition Theorem (KST) to break the curse of dimensionality when approximating a dense class of multivariate continuous functions. We first show that there is a class of functions called Kolmogorov-Lipschitz (KL) continuous in $C([0,1]^d)$ which can be approximated by a special ReLU neural network of two hidden layers with a dimension independent approximation rate $O(1/n)$ with approximation constant increasing quadratically in $d$. The number of parameters used in such neural network approximation equals to $(6d+2)n$. Next we introduce KB-splines by using linear B-splines to replace the outer function and smooth the KB-splines to have the so-called LKB-splines as the basis for approximation. Our numerical evidence shows that the curse of dimensionality is broken in the following sense: When using the standard discrete least squares (DLS) method to approximate a continuous function, there exists a pivotal set of points in $[0,1]^d$ with size at most $O(nd)$ such that the rooted mean squares error (RMSE) from the DLS based on the pivotal set is similar to the RMSE of the DLS based on the original set with size $O(n^d)$. The pivotal point set is chosen by using matrix cross approximation technique and the number of LKB-splines used for approximation is the same as the size of the pivotal data set. Therefore, we do not need too many basis functions nor too many function values to approximate a high dimensional continuous function $f$. Hence, the study in this paper provides an approach for dimension reduction problems.

研究の動機と目的

• 高次元連続関数の近似における次元の呪いを克服すること。
• Kolmogorov超和定理（KST）を活用して次元に依存しない近似スキームを構築すること。
• LKBスプラインと主要なポイント選択を用いて、高次元関数近似のためのスパースで効率的な基底を構築すること。
• 少数の主要なポイントを用いた離散的最小二乗近似が、フルグリッド法と同等の精度を達成できることを示すこと。
• KSTと行列クロス近似を用いて、高次元関数近似のための数値的に安定でスケーラブルなフレームワークを提供すること。

提案手法

• K-Lipschitz連続関数をO(n⁻¹)の誤差率で近似できる特殊な2隠れ層ReLUニューラルネットワークをKSTに基づいて構築する。
• KSTの外側関数を線形Bスプラインに置き換えることでKBスプラインを導入し、その後滑らかに処理してLKBスプラインを得る。
• 行列クロス近似（例：maxvolアルゴリズム）を用いて、フルグリッドの本質的情報を捉える、サイズO(nd)の主要なポイント集合を同定する。
• 主要なポイント集合上で離散的最小二乗法（DLS）を用いて近似問題を効率的に解き、その解がフルグリッドの解と非常に近いことを示す。
• 主要なポイント集合をサンプリング位置および基底のサポートとして同時に使用することで、必要な基底関数および関数評価の数を削減する。
• 主要なポイント集合がターゲット関数に依存せず、LKBスプライン構築の分割、サンプリング、平滑化パラメータにのみ依存することを示す。

実験結果

リサーチクエスチョン

• RQ1 Kolmogorov超和定理は、高次元関数近似における次元の呪いを打ち破るために利用可能か？
• RQ2 スパースな主要なポイント集合を用いたLKBスプラインは、フルグリッド法と同等の近似精度を達成できるか？
• RQ3 行列クロス近似は、高次元において近似品質を保持する最小の主要なポイント集合を同定できるか？
• RQ4 KSTに基づくLKBスプラインを用いた場合、近似レートは次元に依存しないか？
• RQ5 近似誤差の収束勾配とターゲット関数の滑らかさクラスとの関係は何か？

主な発見

• 提案手法を用いたK-Lipschitz連続関数の近似誤差は、次元に依存しないO(n⁻¹)のレートで減少するが、定数はdの2乗に比例して増加する。
• ReLUネットワークのパラメータ数は(6d+2)nであり、次元dとサンプルサイズnに対して線形にスケーリングされる。
• サイズO(nd)の主要なポイント集合を用いた離散的最小二乗近似は、O(n^d)ポイントを要するフルグリッドDLSと同等の平均二乗誤差を達成する。
• 主要なポイントの数はnに対して線形に増加し、勾配は最大でdであるため、本手法の高次元におけるスケーラビリティが裏付けられる。
• 数値結果から、対数-対数プロットにおける収束勾配が-1未満の関数はK-Lipschitzクラスに属し、-1から0の間の勾配はK-Hölder連続性を示すことが分かった。
• 本手法は、2Dおよび3Dの100個以上のテスト関数を、主要なポイント集合のみを用いて成功裏に近似しており、公開されたMATLABコードにより再現可能である。