[논문 리뷰] Non-linear process convolutions for multi-output Gaussian processes

Mauricio A. Álvarez, Wil O. C. Ward외 1명|arXiv (Cornell University)|2018. 10. 10.

Gaussian Processes and Bayesian Inference참고 문헌 26인용 수 6

한 줄 요약

이 논문은 볼테라 급수 전개를 사용하여 다중 출력 가우시안 프로세스를 위한 비선형 확장된 프로세스 컨볼루션 프레임워크를 제안한다. 이는 민감한 비선형 상관관계를 가능하게 하며, 가우시안 변수의 곱 모멘트를 통해 평균 및 공분산 함수의 닫힌 형식 표현을 유도함으로써 기존의 프로세스 컨볼루션, ICM, DGP와 비교해 예측 성능이 뛰어나며, 특히 NLPD 측면에서 뛰어난 성능을 보인다. 이는 인위적 및 실제 데이터 세트(기상 데이터 및 SARCOS 로봇 팔 데이터 포함)에서 검증되었다.

ABSTRACT

The paper introduces a non-linear version of the process convolution formalism for building covariance functions for multi-output Gaussian processes. The non-linearity is introduced via Volterra series, one series per each output. We provide closed-form expressions for the mean function and the covariance function of the approximated Gaussian process at the output of the Volterra series. The mean function and covariance function for the joint Gaussian process are derived using formulae for the product moments of Gaussian variables. We compare the performance of the non-linear model against the classical process convolution approach in one synthetic dataset and two real datasets.

연구 동기 및 목표

• 다중 출력 가우시안 프로세스에서 선형 상관관계를 가지는 구조의 한계를 해결함으로써, 복잡한 출력 간 의존성을 포괄할 수 있는 모델의 유연성을 향상시키기 위함이다.
• 잠재 프로세스 모델링의 해석 가능성은 유지하면서도 비선형 변환을 가능하게 하는 고전적 프로세스 컨볼루션 프레임워크의 비선형 일반화를 개발하기 위함이다.
• 유도된 비선형 다중 출력 GP의 평균 및 공분산 함수에 대해 분석적으로 접근 가능한 닫힌 형식의 표현식을 유도하기 위함이다.
• 제안된 비선형 모델이 인위적 및 실제 데이터 세트에서 기존의 기준 모델(기본 프로세스 컨볼루션, ICM, DGP)과 비교하여 예측 성능을 실증적으로 검증하기 위함이다.
• 각 출력 차원에 대해 다른 볼테라 급수 차수를 允허함으로써 출력 특화된 비선형성을 탐색함으로써 모델링 능력을 향상시키기 위함이다.

제안 방법

• 각 출력에 대해 잠재 가우시안 프로세스의 다항 전개인 볼테라 급수 전개를 사용하여 비선형 변환을 도입한다.
• 가우시안 랜덤 변수의 곱 모멘트 공식을 적용하여 비선형적으로 변환된 출력의 평균 및 공분산 함수를 분석적으로 계산한다.
• 잠재 프로세스와 스무딩 커널에 대해 통합함으로써 다중 출력 프로세스의 공동 평균 및 상관공분산 함수를 유도하며, 이때 잠재 프로세스는 평균이 0인 GP로 가정한다.
• 잠재 프로세스에 대해 제곱 지수(RBF) 커널을, 스무딩 함수에 대해 매테른 유사 커널을 사용하며, 분리 가능하고 동질적인 볼테라 커널을 적용한다.
• 확률적 추론 프레임워크를 사용하여 사후분포를 근사함으로써 더 큰 데이터 세트에서의 확장 가능한 추론을 가능하게 한다.
• 각 출력 차원에 대해 볼테라 급수의 차수 C_d를 별도로 허용함으로써 출력 간 비선형성의 이질성을 모델링할 수 있도록 하며, 차수 C는 각 출력의 비선형성 정도를 결정한다.

실험 결과

연구 질문

• RQ1 비선형 확장된 프로세스 컨볼루션 프레임워크는 선형 대안과 비교해 다중 출력 가우시안 프로세스의 예측 성능을 향상시킬 수 있는가?
• RQ2 볼테라 급수를 사용하여 비선형적으로 변환된 다중 출력 GP의 평균 및 공분산 함수에 대해 닫힌 형식의 표현식을 도출할 수 있는가?
• RQ3 제안된 비선형 모델은 예측 정확도 및 불확실성 정량화 측면에서 고전적 프로세스 컨볼루션, ICM, 딥 가우시안 프로세스보다 뛰어나게 성능을 발휘하는가?
• RQ4 다른 볼테라 급수 차수 C는 개별 출력의 예측 성능에 어떤 영향을 미치며, 출력 특화된 차수 설정이 모델링 정밀도를 향상시키는가?
• RQ5 이 프레임워크는 고차원 입력 공간과 대규모 데이터 세트로 확장 가능하며, 계산적 타당성을 유지할 수 있는가?

주요 결과

• 합성 데이터 세트에서 비선형 프로세스 컨볼루션 모델(NCMOGP)이 C=5일 때 NLPD(0.6431)와 NMSE(0.4425)가 가장 낮게 나타나 CMOGP, ICM, DGP를 모두 능가했다.
• 기상 데이터 세트에서 NCMOGP5는 Chimet에 대해 가장 낮은 NLPD(1.8280)를 기록했고, NCMOGP3는 Cambermet에 대해 가장 낮은 NMSE(0.4252)를 기록하여 ICM 및 DGP를 모두 능가했다.
• 고차원 SARCOS 데이터 세트에서 NCMOGP2는 가장 낮은 NMSE(0.0478 ± 0.0238)와 NLPD(1.4067 ± 1.1032)를 기록했으며, DGP 및 ICM와 비교해도 예측 성능이 유사하거나 뛰어났다.
• 최적의 볼테라 급수 차수 C는 출력에 따라 다름: d=1,2,3,7에 대해 C=4, d=4,6에 대해 C=3, d=5에 대해 C=5로 나타나 출력 특화된 비선형성의 이점이 있음을 시사한다.
• 불확실성 정량화가 향상되었으며, SARCOS 실험에서 NCMOGP2는 모든 출력에서 가장 낮은 NLPD를 기록하여 더 잘 校정된 예측 분산을 제공함을 보였다.
• 이 프레임워크는 고차원 입력(p=21, SARCOS)에 대해 확장 가능하며, 여러 랜덤 훈련-테스트 분할에 걸쳐도 경쟁력 있는 성능 유지를 하며 성능 지표의 변동성이 낮게 유지되었다.