[논문 리뷰] Greedy regularized kernel interpolation

Gabriele Santin, Dominik Wittwar외 1명|arXiv (Cornell University)|2018. 07. 25.

Numerical methods in engineering참고 문헌 9인용 수 3

한 줄 요약

이 논문은 반복적으로 커널 중심을 선택함으로써 산산이 흩어진 데이터에 대해 희소하고 안정적이며 정확한 근사치를 구성하는 근사적인 정규화된 커널 보간법을 제안한다. 이 방법은 渐近적으로 준최적의 수렴 속도를 보장하며, 비용이 많이 드는 함수 평가에 있어 계산 효율성을 향상시킨다.

ABSTRACT

Kernel based regularized interpolation is a well known technique to approximate a continuous multivariate function using a set of scattered data points and the corresponding function evaluations, or data values. This method has some advantage over exact interpolation: one can obtain the same approximation order while solving a better conditioned linear system. This method is well suited also for noisy data values, where exact interpolation is not meaningful. Moreover, it allows more flexibility in the kernel choice, since approximation problems can be solved also for non strictly positive definite kernels. We discuss in this paper a greedy algorithm to compute a sparse approximation of the kernel regularized interpolant. This sparsity is a desirable property when the approximant is used as a surrogate of an expensive function, since the resulting model is fast to evaluate. Moreover, we derive convergence results for the approximation scheme, and we prove that a certain greedy selection rule produces asymptotically quasi-optimal error rates.

연구 동기 및 목표

• 비용이 많이 드는 함수에 대한 서로서모 모델링에서 밀도 높은 커널 보간법의 계산 비효율성을 해결한다.
• 평가 비용을 줄이면서도 높은 정확도를 유지하는 희소 근사 체계를 개발한다.
• 실제로 흔히 존재하는 엄밀히 양의 정부호가 아닌 커널에 대해서도 안정성과 수렴성을 보장한다.
• 그리디 선택 규칙 하에 수렴 속도에 대한 이론적 보장을 제공한다.
• 정규화를 통해 노이즈가 있는 데이터 상황에서도 강인한 근사가 가능하도록 한다.

제안 방법

• 선형 시스템의 해를 안정화하기 위해 티코노프 유형의 페널티를 적용한 커널 기반 정규화 보간법을 사용한다.
• 데이터 세트에서 반복적으로 커널 중심(지원점)을 선택하여 희소 근사치를 구성하는 그리디 알고리즘을 적용한다.
• 각 단계에서 잔차 오차 감소를 최대화하는 규칙에 따라 새로운 중심을 선택한다.
• 커널 행렬의 고유값과 콜모고로프 n-폭넓이의 감쇠 성질을 이용해 오차 한계를 유도한다.
• 일부 부드러움 조건 하에 그리디 선택 규칙이 渐近적으로 준최적의 수렴 속도를 유도함을 증명한다.
• 레프레젠터 정리를 활용하여 보간자를 선택된 점들 중심으로 한 커널 함수의 선형 조합으로 표현한다.

실험 결과

연구 질문

• RQ1 그리디 알고리즘이 높은 근사 정확도를 유지하면서도 희소한 커널 보간자를 생성할 수 있는가?
• RQ2 그리디 선택 규칙이 커널 보간에 대해 渐近적으로 준최적의 수렴 속도를 유도하는가?
• RQ3 기본적인 정규화된 보간법과 비교할 때 제안된 방법의 안정성과 조건 수에 대해 어떻게 성능을 보이는가?
• RQ4 엄밀히 양의 정부호가 아닌 커널에 대해서도 수렴 보장의 손실 없이 적용 가능한가?
• RQ5 커널에 대해 부드러움 조건이 성립할 경우, 그리디 정규화 보간자의 이론적 오차 감쇠 속도는 무엇인가?

주요 결과

• 제안된 선택 규칙 하에 그리디 정규화 보간자는 渐近적으로 준최적의 오차 속도를 달성한다.
• 정확한 보간법과 달리, 엄밀히 양의 정부호가 아닌 커널에 대해서도 잘 조절된 선형 시스템을 보장한다.
• 최적의 n-항 근사와 비교할 때 오차가 유사한 속도로 감쇠하며, 커널의 부드러움에 따라 명시적인 상수에 의존한다.
• 커널이 $ C^{2\tau} $ 부드러움을 가지면, $ C^\tau $-노름에서 수렴 보장이 이루어진다.
• 콜모고로프 n-폭넓이 감쇠를 이용한 고유값의 재귀적 추정을 통해 오차 한계를 도출하였으며, 이로 인해 수렴 속도에 명시적인 상수가 도출된다.
• 정규화 파rameter $ \lambda > 0 $ 덕분에 노이즈가 있는 데이터에 대해서도 강인하며, 과적합을 방지한다.