[논문 리뷰] Deep nets for local manifold learning

Charles K. Chui, H. N. Mhaskar|arXiv (Cornell University)|2016. 07. 24.

Sparse and Compressive Sensing Techniques참고 문헌 53인용 수 9

한 줄 요약

이 논문은 고차원 유클리드 공간에 임bed된 다양체 위에 좌표계를 구성하는 딥 러닝 프레임워크를 제안한다. 고유값 분해 없이도 최적의 함수 확장을 딥 뉴럴 네트워크를 통해 튜브형 이웃 영역으로 가능하게 하며, 사전 오차 경계와 보편적 근사가 보장된다. 이는 함수의 매끄러움에 따라 국소적으로 적응하며, 샘플 외 확장 및 역상 문제를 통제 가능한 성장률로 해결한다.

ABSTRACT

The problem of extending a function $f$ defined on a training data $\mathcal{C}$ on an unknown manifold $\mathbb{X}$ to the entire manifold and a tubular neighborhood of this manifold is considered in this paper. For $\mathbb{X}$ embedded in a high dimensional ambient Euclidean space $\mathbb{R}^D$, a deep learning algorithm is developed for finding a local coordinate system for the manifold {\bf without eigen--decomposition}, which reduces the problem to the classical problem of function approximation on a low dimensional cube. Deep nets (or multilayered neural networks) are proposed to accomplish this approximation scheme by using the training data. Our methods do not involve such optimization techniques as back--propagation, while assuring optimal (a priori) error bounds on the output in terms of the number of derivatives of the target function. In addition, these methods are universal, in that they do not require a prior knowledge of the smoothness of the target function, but adjust the accuracy of approximation locally and automatically, depending only upon the local smoothness of the target function. Our ideas are easily extended to solve both the pre--image problem and the out--of--sample extension problem, with a priori bounds on the growth of the function thus extended.

연구 동기 및 목표

• 고유값 분해가 필요 없이 고차원 유클리드 공간에 임베딩된 다양체 위에 국소 좌표계를 학습하는 딥 러닝 알고리즘을 개발하는 것.
• 학습 데이터 세트에서 정의된 함수를 다양체의 튜브형 이웃 영역으로 딥 뉴럴 네트워크를 사용해 확장하는 것.
• 대상 함수의 도함수 수에 기반한 근사 오차에 대한 최적의 사전 오차 경계를 보장하는 것.
• 함수의 정규성에 대한 사전 지식 없이도 국소적으로 함수의 매끄러움에 적응하는 보편적 근사 성능을 달성하는 것.
• 함수 성장에 대한 사전 경계를 갖는 조건에서 샘플 외 확장 및 역상 문제를 해결하는 것.

제안 방법

• 튜브형 이웃 영역의 국소 좌표계를 통해 문제를 저차원 입방체 위의 함수 근사 문제로 축소한 후, 딥 뉴럴 네트워크를 사용하여 근사한다.
• 거리의 비율을 유지하는 방식으로 $ v(\mathbf{q}) = u(\pi_c(\mathbf{q})) + (0,\dots,0,q^{d+1},\dots,q^s,0,\dots,0) $ 라는 매핑을 사용해 국소 좌표계를 구성한다.
• 확장 성장률을 통제하기 위해 최소 소볼레프 노름(MSN) 보간법을 사용하며, $ \int_{[-1,1]^s} |\Delta P(\mathbf{t})|^2 \, d\mathbf{t} / \sqrt{(1-(t^1)^2)\cdots(1-(t^s)^2)} $ 를 최소화하고 보간 조건을 만족시킨다.
• 학습 점 $ \mathbf{x}_j \in \mathcal{C} $ 에서의 함수 값과 일치하는 다항식 $ P^* $ 를 정의하여 안정성과 유한한 성장률을 보장한다.
• 백프로파게이션 및 최적화 기법을 피하고, 이론적 오차 경계와 좌표계의 기하학적 구성에 의존한다.
• 다양체를 매개변수화된 함수 $ v $ 를 통해 $ \mathbb{R}^D $ 의 부분다양체로 간주하며, $ s \geq d $ 를 만족하고, 자코비안이 $ \|J_s(\mathbf{q}) - J_s(0)\| \leq \kappa \|\mathbf{q}\|_s $ 를 만족하도록 보장한다.

실험 결과

연구 질문

• RQ1 딥 러닝 프레임워크는 고유값 분해 없이 다양체 위에 국소 좌표계를 학습할 수 있는가? 이는 저차원 입방체에서의 함수 근사 가능성을 보장하는가?
• RQ2 정의된 유한한 학습 데이터 세트에서의 함수를 튜브형 이웃 영역으로 확장할 수 있는가? 이 경우 성장률은 통제 가능하고 최적의 오차 경계를 확보할 수 있는가?
• RQ3 이 방법은 함수의 정규성에 대한 사전 지식 없이도 국소적 매끄러움에 적응하는 보편적 근사 성능을 달성할 수 있는가?
• RQ4 함수 확장의 행동에 대한 사전 경계를 갖는 조건에서 역상 문제 및 샘플 외 확장 문제를 어떻게 해결할 수 있는가?
• RQ5 최소 소볼레프 노름 보간법은 어떻게 안정적이고 유한한 함수 확장을 보장하는가?

주요 결과

• 제안된 방법은 백프로파게이션 또는 최적화를 요구하지 않으며, 대상 함수의 도함수 수에 따라 최적의 사전 오차 경계를 달성한다.
• 딥 뉴럴 네트워크 기반 접근법은 함수의 국소적 매끄러움에 자동으로 적응하는 보편적 근사 성능을 제공하며, 함수의 정규성에 대한 사전 지식이 필요 없어진다.
• 튜브형 이웃 영역으로의 확장은 최소 소볼레프 노름 보간법을 통해 이루어지며, 확장된 함수의 성장률이 사전 제어 가능하고 유한하게 유지된다.
• 이 방법은 확장된 함수의 행동에 대한 이론적 보장을 바탕으로 역상 문제 및 샘플 외 확장 문제를 성공적으로 해결한다.
• 좌표계 구성은 고유값 분해를 피하고, 다양체와 그 $ \mathbb{R}^D $ 내 임베딩의 기하학적·해석적 성질에 의존한다.
• 이 프레임워크는 다양체 차원 $ s $ 의 과대추정에 대해 강건하며, 과대추정으로 인한 오차는 작고, 거리 유지 성질을 유지한다.