[논문 리뷰] The Kolmogorov Superposition Theorem can Break the Curse of Dimensionality When Approximating High Dimensional Functions

Ming‐Jun Lai, Zhaiming Shen|arXiv (Cornell University)|2021. 12. 18.

Statistical and numerical algorithms인용 수 11

한 줄 요약

이 논문은 레이저 신경망과 LKB-spline을 사용하여 고차원 연속 함수의 차원에 독립적인 근사화를 가능하게 하는 콜모고로프 초월 정리(Kolmogorov Superposition Theorem, KST)의 가능성을 입증한다. 이는 오직 O(nd)개의 핵심 데이터 포인트를 사용하여 O(n⁻¹)의 근사 속도를 달성함으로써 차원의 귀환(curse of dimensionality)을 극복한다. 이 방법은 매트릭스 크로스 근사(matrix cross approximation)를 활용하여 희소하고 효과적인 데이터 포인트의 부분집합을 선별하여 고차원에서 효율적이고 정확한 함수 근사화를 가능하게 한다.

ABSTRACT

We explain how to use Kolmogorov Superposition Theorem (KST) to break the curse of dimensionality when approximating a dense class of multivariate continuous functions. We first show that there is a class of functions called Kolmogorov-Lipschitz (KL) continuous in $C([0,1]^d)$ which can be approximated by a special ReLU neural network of two hidden layers with a dimension independent approximation rate $O(1/n)$ with approximation constant increasing quadratically in $d$. The number of parameters used in such neural network approximation equals to $(6d+2)n$. Next we introduce KB-splines by using linear B-splines to replace the outer function and smooth the KB-splines to have the so-called LKB-splines as the basis for approximation. Our numerical evidence shows that the curse of dimensionality is broken in the following sense: When using the standard discrete least squares (DLS) method to approximate a continuous function, there exists a pivotal set of points in $[0,1]^d$ with size at most $O(nd)$ such that the rooted mean squares error (RMSE) from the DLS based on the pivotal set is similar to the RMSE of the DLS based on the original set with size $O(n^d)$. The pivotal point set is chosen by using matrix cross approximation technique and the number of LKB-splines used for approximation is the same as the size of the pivotal data set. Therefore, we do not need too many basis functions nor too many function values to approximate a high dimensional continuous function $f$. Hence, the study in this paper provides an approach for dimension reduction problems.

연구 동기 및 목표

• 고차원 연속 함수 근사에서 차원의 귀환을 극복하기 위해.
• 콜모고로프 초월 정리(Kolmogorov Superposition Theorem, KST)를 활용하여 차원에 독립적인 근사화 체계를 구축하기 위해.
• 고차원 함수 근사에 적합한 희소하고 효율적인 기저를 LKB-spline과 핵심 포인트 선택 기법을 통해 개발하기 위해.
• 작은 수의 핵심 포인트를 사용한 이산 최소제곱 근사가 전체 격자 방법과 비교해 유사한 정확도를 달성할 수 있음을 입증하기 위해.
• KST와 매트릭스 크로스 근사를 활용하여 수치적으로 안정적이고 확장 가능한 고차원 함수 근사 프레임워크를 제공하기 위해.

제안 방법

• KST에 기반한 특수한 이중히든층 ReLU 신경망을 구성하여 K-립시츠 연속 함수를 O(n⁻¹) 오차율로 근사한다.
• KST의 외부 함수를 선형 B-spline으로 대체하여 KB-spline을 도입한 후, 이를 더 부드럽게 다듬어 LKB-spline으로 만든다.
• 매트릭스 크로스 근사(예: maxvol 알고리즘)를 적용하여 전체 격자의 핵심 정보를 포괄하는 크기가 O(nd)인 핵심 데이터 포인트 집합을 식별한다.
• 핵심 집합에서 이산 최소제곱(DLS)을 적용하여 근사 문제를 효율적으로 해결하며, 이로 얻어진 해는 전체 격자 해와 매우 유사하다.
• 핵심 포인트 집합을 샘플링 위치와 기저의 지지역으로 동시에 활용하여 필요한 기저 함수의 수와 함수 평가 횟수를 줄인다.
• 핵심 포인트 집합이 목표 함수에 독립적이며, 오직 LKB-spline 구성의 분할, 샘플링 및 스무딩 파라미터에만 의존함을 입증한다.

실험 결과

연구 질문

• RQ1 콜모고로프 초월 정리를 사용하여 고차원 함수 근사에서 차원의 귀환을 극복할 수 있는가?
• RQ2 희소한 핵심 포인트 집합을 사용한 LKB-spline이 전체 격자 방법과 유사한 근사 정확도를 제공하는가?
• RQ3 매트릭스 크로스 근사는 고차원에서 근사 품질을 유지하는 최소한의 핵심 포인트 집합을 식별할 수 있는가?
• RQ4 KST 기반 LKB-spline을 사용할 경우 근사 속도가 차원에 독립적인가?
• RQ5 근사 오차의 수렴 기울기와 목표 함수의 스무딩 정도의 클래스 간 관계는 무엇인가?

주요 결과

• 제안된 방법을 사용한 K-립시츠 연속 함수의 근사 오차는 차원에 독립적인 속도 O(n⁻¹)로 감소하며, 이때 상수는 d의 제곱에 비례하여 증가한다.
• ReLU 신경망의 파라미터 수는 (6d+2)n으로, 차원 d와 표본 크기 n에 대해 선형으로 증가한다.
• 크기가 O(nd)인 핵심 집합을 사용한 이산 최소제곱 근사는 전체 격자 DLS(O(n^d)개의 점)와 동일한 루트 평균 제곱 오차를 달성한다.
• 핵심 위치의 수는 n에 대해 선형적으로 증가하며, 기울기는 최대 d이므로 이는 고차원에서의 확장 가능성과 일치한다.
• 수치적 결과는 로그-로그 플롯에서 수렴 기울기가 -1 이하인 함수들은 K-립시츠 클래스에 속하고, 기울기가 -1에서 0 사이인 경우 K-하올더 연속성을 띤다고 나타낸다.
• 공개된 MATLAB 코드를 통해 2D 및 3D에서 100개 이상의 테스트 함수를 핵심 포인트 집합만으로 성공적으로 근사하였으며, 결과는 재현 가능하다.