[論文レビュー] Complex-Valued Gaussian Processes for Regression: A Widely Non-Linear Approach

Rafael Boloix-Tortosa, Eva Arias-de-Reyna+2 more|arXiv (Cornell University)|Nov 18, 2015

Gaussian Processes and Bayesian Inference参考文献 14被引用数 5

ひとこと要約

本稿では、広く線形最小分散誤差（WLMMSE）理論にインspiredされ、複素数出力をモデル化するためのカーネルと擬似カーネルの両方を組み込んだ、広く非線形な複素数ガウス過程回帰（WCGPR）フレームワークを提案する。この手法は、標準の複素数GPRに比べて、特に出力が不適切な場合に複素数ドメイン内の非線形依存関係を捉えることができ、回帰性能が向上する。

ABSTRACT

In this paper we propose a novel Bayesian kernel based solution for regression in complex fields. We develop the formulation of the Gaussian process for regression (GPR) to deal with complex-valued outputs. Previous solutions for kernels methods usually assume a complexification approach, where the real-valued kernel is replaced by a complex-valued one. However, based on the results in complex-valued linear theory, we prove that both a kernel and a pseudo-kernel are to be included in the solution. This is the starting point to develop the new formulation for the complex-valued GPR. The obtained formulation resembles the one of the widely linear minimum mean-squared (WLMMSE) approach. Just in the particular case where the outputs are proper, the pseudo-kernel cancels and the solution simplifies to a real-valued GPR structure, as the WLMMSE does into a strictly linear solution. We include some numerical experiments to show that the novel solution, denoted as widely non-linear complex GPR (WCGPR), outperforms a strictly complex GPR where a pseudo-kernel is not included.

研究の動機と目的

• 単に実数値カーネルの複素化に依存する既存の複素数カーネル手法が、擬似カーネルの寄与を考慮していないという制限を解消すること。
• 広く線形なアプローチを非線形な設定に一般化する、複素数出力のためのベイズ回帰フレームワークを構築すること。
• 複素数GPRに擬似カーネルを組み込むことで、特に不適切な複素数出力に対してモデル化精度が向上することを示すこと。
• 複素数線形理論に基づく複素数ガウス過程回帰の理論的基盤を確立し、カーネル項と擬似カーネル項の両方が必要不可欠であることを示すこと。

提案手法

• 複素数線形理論に基づき、カーネルと擬似カーネルの両方を用いた複素数ガウス過程回帰を定式化する。
• 広く線形な構造（WLMMSE推定器に類似）を採用し、非線形でカーネルに基づく回帰へと拡張する。
• 実部と虚部の両方を同時にモデル化できるように、複素数カーネル関数とその共役を用いて予測の平均と共分散を定義する。
• 出力が適切な場合に標準の実数値GPRに還元されることを保証し、従来の手法との整合性を確保する。
• 制御された回帰タスクにおいて、WCGPRを擬似カーネルを含まない標準の複素数GPRと比較する数値実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 単に実数値カーネルの複素化を超えて、複素数出力を扱うためのガウス過程回帰をどのように一般化できるか？
• RQ2 擬似カーネルは複素数回帰において果たす理論的役割は何か？また、どのような状況で必要となるのか？
• RQ3 複素数GPRに擬似カーネルを組み込むことで、標準の複素数GPRに比べて測定可能な性能向上が得られるか？
• RQ4 広く非線形な複素数GPRは、どのような条件下で標準の実数値GPRに還元されるか？

主な発見

• 複素数線形理論により、出力が不適切な場合に擬似カーネルの導入が理論的に不可欠であることが示された。
• 数値実験において、擬似カーネルを含まない標準の複素数GPRに比べ、提案された広く非線形な複素数GPR（WCGPR）が優れた性能を示した。
• 出力が適切な場合、擬似カーネル項は消え、WCGPRは標準の実数値GPRに還元されるため、後方互換性が保証された。
• WCGPRの定式化は、広く線形最小分散誤差（WLMMSE）推定器の構造を継承しており、非線形でカーネルに基づく学習へと拡張された。