[논문 리뷰] Interpolation with uncoupled separable matrix-valued kernels

Dominik Wittwar, Gabriele Santin외 1명|arXiv (Cornell University)|2018. 07. 24.

Model Reduction and Neural Networks참고 문헌 3인용 수 18

한 줄 요약

이 논문은 벡터값 함수 보간을 위한 새로운 유형의 분리 가능한 행렬값 커널을 제안하며, 일반화된 파wer-함수를 통한 사전 오차 추정을 가능하게 한다. 주요 기여는 이 하위클래스에서 행렬값 파워-함수(파워-함수)가 스칼라값 파워-함수로 감소함을 보여주어 효율적인 오차 경계 설정과 구성 요소 간 상관관계를 반영함으로써 보다 높은 근사 정확도를 달성할 수 있음을 보여준다. 인공 데이터를 통한 실험을 통해 구성 요소별로 처리하는 방법보다 뚜렷한 성능 향상이 확인되었다.

ABSTRACT

In this paper we consider the problem of approximating vector-valued functions over a domain $Ω$. For this purpose, we use matrix-valued reproducing kernels, which can be related to Reproducing kernel Hilbert spaces of vectorial functions and which can be viewed as an extension to the scalar-valued case. These spaces seem promising, when modelling correlations between the target function components, as the components are not learned independently of one another. We focus on the interpolation with such matrix-valued kernels. We derive error bounds for the interpolation error in terms of a generalized power-function and we introduce a subclass of matrix-valued kernels whose power-functions can be traced back to the power-function of scalar-valued reproducing kernels. Finally, we apply these kind of kernels to some artificial data to illustrate the benefit of interpolation with matrix-valued kernels in comparison to a componentwise approach.

연구 동기 및 목표

• 구성 요소 간 상관관계를 포착하는 행렬값 재생핵 힐버트 공간(RKHS)을 사용한 벡터값 함수 보간을 위한 프레임워크를 개발하는 것.
• 행렬값 설정에서 일반화된 파워-함수를 사용한 보간에 대한 사전 오차 경계를 유도하는 것.
• 행렬값 파워-함수(파워-함수)가 스칼라값 파워-함수로 감소하는 하위클래스인 분리 가능한 행렬값 커널을 특정화하는 것.
• 구성 요소 간 상관관계가 존재할 경우, 행렬값 커널이 구성 요소별 스칼라 근사보다 정확도가 높은지 수치 실험을 통해 보여주는 것.

제안 방법

• 논문은 대칭성 $ k(x,y) = k(y,x)^T $ 를 만족하는 $ \mathbb{R}^{m \times m} $ 에 값을 갖는 정의치 함수 $ k: \Omega \times \Omega \to \mathbb{R}^{m \times m} $ 를 행렬값 커널로 정의하며, 이는 $ \mathbb{R}^m $-RKHS의 기초를 이룬다.
• 보간에서 사전 오차 추정의 핵심 도구로 파워-함수 $ \mathcal{P}_k(x) = \|k(\cdot,x)\|_{\mathcal{H}}^2 $ 를 도입한다.
• 분리 가능한 행렬값 커널의 새로운 하위클래스를 제안하며, 이는 $ k(x,y) = \sum_{i=1}^m k_i(x_i,y_i) \otimes e_i e_i^T $ 를 만족하며, $ k_i $ 는 스칼라값 커널이다.
• 이 하위클래스에서 행렬값 파워-함수는 스칼라 파워-함수의 합으로 분해됨을 보여준다: $ \mathcal{P}_k(x) = \sum_{i=1}^m \mathcal{P}_{k_i}(x_i) $.
• 파워-함수를 통해 보간 오차는 $ \|f - \Pi_{\mathcal{N}(X)}f\|_{\infty} \leq \|\mathcal{P}_k(x)\|_{\infty} \|f\|_{\mathcal{H}} $ 로 경계된다.
• 수치적 검증은 100개의 랜덤 중심점을 가진 2차원 영역에서 수행되었으며, $ \ell^2 $, $ \ell^\infty $, $ \ell^1 $ 노름을 사용하여 행렬값 및 스칼라값 보간을 비교하였다.

실험 결과

연구 질문

• RQ1 구성 요소 간 상관관계가 존재할 경우, 행렬값 커널이 구성 요소별 스칼라 방법보다 더 높은 보간 정확도를 제공할 수 있는가?
• RQ2 일반화된 파워-함수를 사용한 행렬값 커널 보간에 대해 사전 오차 경계를 어떻게 도출할 수 있는가?
• RQ3 어떤 행렬값 커널의 구조적 특성이 파워-함수를 스칼라값 파워-함수로 감소시킬 수 있게 하는가?
• RQ4 제안된 분리 가능한 행렬값 커널 하위클래스는 기존의 행렬값 커널의 이론적 보장을 유지하면서도 효율적인 계산을 가능하게 하는가?

주요 결과

• 제안된 분리 가능한 행렬값 커널 클래스는 행렬값 파워-함수를 스칼라 파워-함수의 합으로 표현할 수 있게 하여 효율적이고 해석 가능한 오차 추정이 가능하다.
• 수치 실험 결과, 행렬값 커널 보간은 구성 요소별 스칼라 근사보다 $ \ell^2 $, $ \ell^\infty $, $ \ell^1 $ 노름 모두에서 더 낮은 최대 점별 오차를 달성한다.
• 파워-함수를 통한 유도된 오차 경계는 효과적이며 계산 가능하며, 중심 수가 증가할수록 $ \Delta_2^1 $ 과 $ \Delta_\infty^1 $ 가 실제 보간 오차를 잘 따라간다.
• 결과적으로 구성 요소 간 상관관계를 행렬값 커널을 통해 모델링할 경우, 다양한 주파수를 가진 구성 요소와 같은 서로 다른 구조적 특성을 가진 경우에도 뛰어난 서rogate 모델이 도출됨을 보여준다.