[논문 리뷰] Complex-Valued Gaussian Processes for Regression: A Widely Non-Linear Approach

Rafael Boloix-Tortosa, Eva Arias-de-Reyna외 2명|arXiv (Cornell University)|2015. 11. 18.

Gaussian Processes and Bayesian Inference참고 문헌 14인용 수 5

한 줄 요약

이 논문은 복소수 출력을 모델링하기 위해 핵심 함수와 가상 핵심 함수를 모두 포함하는 광범위한 비선형 복소수 가우시안 프로세스 회귀(WCGPR) 프레임워크를 제안한다. 이는 광범위한 선형 최소 제곱 오차(WLMMSE) 이론에 영감을 받은 것으로, 기존의 복소수 GPR에 비해 복소수 영역 내 비선형 종속성을 더 잘 포착함으로써, 특히 출력이 비정상적인 경우 회귀 성능을 향상시킨다.

ABSTRACT

In this paper we propose a novel Bayesian kernel based solution for regression in complex fields. We develop the formulation of the Gaussian process for regression (GPR) to deal with complex-valued outputs. Previous solutions for kernels methods usually assume a complexification approach, where the real-valued kernel is replaced by a complex-valued one. However, based on the results in complex-valued linear theory, we prove that both a kernel and a pseudo-kernel are to be included in the solution. This is the starting point to develop the new formulation for the complex-valued GPR. The obtained formulation resembles the one of the widely linear minimum mean-squared (WLMMSE) approach. Just in the particular case where the outputs are proper, the pseudo-kernel cancels and the solution simplifies to a real-valued GPR structure, as the WLMMSE does into a strictly linear solution. We include some numerical experiments to show that the novel solution, denoted as widely non-linear complex GPR (WCGPR), outperforms a strictly complex GPR where a pseudo-kernel is not included.

연구 동기 및 목표

• 기존의 복소수 커널 방법이 실수 기반 커널의 단순 복소화에 의존하여 가상 핵심 함수 기여를 고려하지 않는 한계를 해결하기 위해.
• 광범위한 선형 접근법을 비선형 설정으로 일반화한 복소수 출력을 위한 베이지안 회귀 프레임워크를 개발하기 위해.
• 복소수 GPR에 가상 핵심 함수를 포함시키면 모델 정확도가 향상되며, 특히 비정상적인 복소수 출력의 경우 뚜렷한 성능 향상이 있음을 입증하기 위해.
• 복소수 선형 이론에 기반한 복소수 GPR의 이론적 기반을 구축하여, 핵심 함수와 가상 핵심 함수 모두의 필요성을 보여주기 위해.

제안 방법

• 복소수 선형 이론에서 유도된 핵심 함수와 가상 핵심 함수를 모두 사용하여 복소수 가우시안 프로세스 회귀를 수립하기.
• 광범위한 선형 최소 제곱 오차(WLMMSE) 추정기와 유사한 광범위한 선형 구조를 채택하여, 이를 비선형이며 커널 기반의 회귀로 확장하기.
• 실수부와 허수부를 함께 모델링할 수 있도록 복소수 핵심 함수와 그 켤레를 사용하여 예측 평균과 공분산을 정의하기.
• 출력이 정상적인 경우 기존 방법과의 일관성을 유지하기 위해, 출력이 정상적일 경우 표준 실수 기반 GPR로 축소됨을 보장하기.
• 통제된 회귀 작업 하에서 WCGPR와 가상 핵심 함수를 포함하지 않은 표준 복소수 GPR 간의 성능을 비교하기 위해 수치 실험을 실시하기.

실험 결과

연구 질문

• RQ1 단순한 실수 기반 커널의 복소화를 넘어서 복소수 출력을 다룰 수 있는 가우시안 프로세스 회귀의 일반화 방법은 무엇인가?
• RQ2 가상 핵심 함수는 복소수 회귀에서 이론적으로 어떤 역할을 하는가? 언제 필수적인가?
• RQ3 복소수 GPR에 가상 핵심 함수를 포함시키면 표준 복소수 GPR 대비 측정 가능한 성능 향상이 이루어지는가?
• RQ4 광범위한 비선형 복소수 GPR은 어떤 조건에서 표준 실수 기반 GPR으로 축소되는가?

주요 결과

• 비정상적인 출력이 존재할 경우, 복소수 선형 이론에 의해 가상 핵심 함수의 포함이 이론적으로 필수적임을 입증하였다.
• 제안된 광범위한 비선형 복소수 GPR(WCGPR)는 수치 실험에서 가상 핵심 함수를 생략한 표준 복소수 GPR보다 뛰어난 성능을 보였다.
• 출력이 정상적인 경우 가상 핵심 함수 항이 소멸되며, WCGPR는 표준 실수 기반 GPR로 축소되어 이전 방법과의 후행 호환성을 확보하였다.
• WCGPR 수식은 광범위한 선형 최소 제곱 오차(WLMMSE) 추정기의 구조를 이어받아, 비선형이며 커널 기반 학습으로 확장하였다.