[논문 리뷰] Proper Complex Gaussian Processes for Regression

Rafael Boloix-Tortosa, F. Javier Payán-Somet외 2명|arXiv (Cornell University)|2015. 02. 17.

Gaussian Processes and Bayesian Inference참고 문헌 27인용 수 3

한 줄 요약

이 논문은 복소수 입력 간의 유사도를 복소수 차이의 크기로 측정하고, 위르팅어 도함수를 사용하여 초모수 학습을 수행함으로써, 비취소되는 교차공분산 상황에서 기존 방법보다 향상된 추정 정확도를 달성하는, 회귀 분석을 위한 새로운 프레임워크를 제안한다. 이 프레임워크는 복소수 커널을 컨볼루션형 교차분산을 통해 유도하여 등방성과 정상성을 확보한다.

ABSTRACT

Complex-valued signals are used in the modeling of many systems in engineering and science, hence being of fundamental interest. Often, random complex-valued signals are considered to be proper. A proper complex random variable or process is uncorrelated with its complex conjugate. This assumption is a good model of the underlying physics in many problems, and simplifies the computations. While linear processing and neural networks have been widely studied for these signals, the development of complex-valued nonlinear kernel approaches remains an open problem. In this paper we propose Gaussian processes for regression as a framework to develop 1) a solution for proper complex-valued kernel regression and 2) the design of the reproducing kernel for complex-valued inputs, using the convolutional approach for cross-covariances. In this design we pay attention to preserve, in the complex domain, the measure of similarity between near inputs. The hyperparameters of the kernel are learned maximizing the marginal likelihood using Wirtinger derivatives. Besides, the approach is connected to the multiple output learning scenario. In the experiments included, we first solve a proper complex Gaussian process where the cross-covariance does not cancel, a challenging scenario when dealing with proper complex signals. Then we successfully use these novel results to solve some problems previously proposed in the literature as benchmarks, reporting a remarkable improvement in the estimation error.

연구 동기 및 목표

• 기존의 복소수 커널 방법의 한계를 해결하고, 비선형 회귀를 위한 체계적인 프레임워크를 개발하는 것.
• 물리적 유사도 측정법을 복소수 영역에서 유지하면서 등방성과 정상성을 보장하는 복소수 값의 재생 커널을 설계하는 것.
• 교차검증을 피하기 위해 위르팅어 도함수를 활용한 마진형 우도 최대화를 통한 초모수 학습을 가능하게 하는 것.
• 커널의 적절성과 양의 준정부성 유지 조건에서 다중출력 학습 시나리오로 프레임워크를 확장하는 것.
• 이전 방법이 실패하는 비취소 교차공분산을 포함한 벤치마크 문제에서 뛰어난 성능을 보여주는 것.

제안 방법

• 실수부와 허수부의 공분산 행렬을 조합하여 복소수 커널을 구성하며, 실수부는 내부 성분 간 공분산을 캡처하고, 허수부는 실수부와 허수부 간의 교차공분산을 모델링한다.
• 네 개의 기저 함수에 대해 컨볼루션 방식을 적용하고, 매개변수화된 지수 형태를 사용하여 부드러움과 물리적 해석 가능성을 확보한다.
• 교차공분산의 구조를 반대칭성과 양의 준정부성으로 강제하여 전체 공분산 행렬이 유효한 재생 커널로 유지되도록 한다.
• 복소수 입력 간의 유사도는 복소수 차이의 절대값을 통해 측정되며, 이는 커널 설계에서 등방성과 정상성을 보장한다.
• 초모수는 복소수 함수에 적응된 위르팅어 도함수를 사용하여 마진형 우도를 최대화함으로써 최적화된다.
• 단일 및 다중 출력 회귀 설정에서 프레임워크를 검증하였으며, 기존 벤치마크와의 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 실수부와 허수부 간의 교차공분산을 모델링하면서 등방성과 정상성을 보장하는 적절한 복소수 커널을 어떻게 설계할 수 있는가?
• RQ2 완전한 베이지안 추론과 확률적 출력을 가능하게 하면서도 적절성을 유지하는 복소수 가우시안 프로세스 프레임워크를 구성할 수 있는가?
• RQ3 마진형 우도 최대화에 위르팅어 도함수를 사용할 경우, 복소수 회귀에서 초모수 학습이 어떻게 향상되는가?
• RQ4 비취소 교차공분산 상황에서 제안된 커널이 기존의 복소수 커널보다 성능 향상이 얼마나 이루어지는가?
• RQ5 제안된 프레임워크가 복소수 신호 처리의 다중 출력 학습 과제로 일반화되는 데까지 어느 정도의 범용성을 갖는가?

주요 결과

• 제안된 커널은 입력 간의 복소수 차이의 크기를 유사도 측정 기준으로 사용함으로써 등방성과 정상성을 달성하여 물리적 시스템의 더 나은 모델링이 가능하다.
• 이전 방법에서의 한계인 교차공분산이 상쇄되지 않는 도전적인 상황을 성공적으로 처리한다.
• 기존 문헌에서 사용된 벤치마크 문제에서 추정 오차가 놀라울 정도로 향상되어, 뛰어난 일반화 성능을 입증한다.
• 커널의 양의 준정부성은 구성 과정에서 보장되어, 복소수 RKHS 내에서 유효한 재생 커널임을 보장한다.
• 위르팅어 도함수의 사용은 교차검증이 필요 없이 효율적이고 정확한 초모수 학습을 가능하게 한다.
• 커널의 실수부와 허수부를 별도로 조정할 수 있도록 설계되어, 적절성과 안정성에 손상 없이 유연성을 증가시킨다.