[論文レビュー] Proper Complex Gaussian Processes for Regression

Rafael Boloix-Tortosa, F. Javier Payán-Somet+2 more|arXiv (Cornell University)|Feb 17, 2015

Gaussian Processes and Bayesian Inference参考文献 27被引用数 3

ひとこと要約

本稿は、畳み込み型クロス・コバリアンスを用いて導出された複素数値カーネルを活用することで、等方性および定常性を保証する、回帰における新しい適切な複素ガウス過程のフレームワークを提案する。入力の複素差の大きさを用いて類似度をモデル化し、ハイパーパrameter学習にはウィーリングター微分を用いることで、特にクロス・コバリアンスが相殺されない状況において、先行手法に比べて推定精度が向上する。

ABSTRACT

Complex-valued signals are used in the modeling of many systems in engineering and science, hence being of fundamental interest. Often, random complex-valued signals are considered to be proper. A proper complex random variable or process is uncorrelated with its complex conjugate. This assumption is a good model of the underlying physics in many problems, and simplifies the computations. While linear processing and neural networks have been widely studied for these signals, the development of complex-valued nonlinear kernel approaches remains an open problem. In this paper we propose Gaussian processes for regression as a framework to develop 1) a solution for proper complex-valued kernel regression and 2) the design of the reproducing kernel for complex-valued inputs, using the convolutional approach for cross-covariances. In this design we pay attention to preserve, in the complex domain, the measure of similarity between near inputs. The hyperparameters of the kernel are learned maximizing the marginal likelihood using Wirtinger derivatives. Besides, the approach is connected to the multiple output learning scenario. In the experiments included, we first solve a proper complex Gaussian process where the cross-covariance does not cancel, a challenging scenario when dealing with proper complex signals. Then we successfully use these novel results to solve some problems previously proposed in the literature as benchmarks, reporting a remarkable improvement in the estimation error.

研究の動機と目的

• 既存の複素カーネル手法における制限を克服し、非線形回帰に適した原理的フレームワークを構築すること。
• 物理的類似度測度を複素数ドメインで保つ複素数値の再生核を設計し、等方性および定常性を確保すること。
• クロスバリデーションを回避するため、ウィーリングター微分を用いたマージナル尤度最大化によりハイパーパrameter学習を可能にすること。
• カーネルの適切性および半正定値性を維持したまま、複数出力の学習シナリオへフレームワークを拡張すること。
• クロス・コバリアンスが相殺されない状況において、先行手法が失敗するベンチマーク問題で優れた性能を示すこと。

提案手法

• 実部は内部成分間の共分散を、虚部は実部と虚部成分間のクロス・コバリアンスをモデル化するように、共分散行列の実部と虚部を組み合わせることで複素数値カーネルを構築する。
• 滑らかさおよび物理的解釈可能性を保証するため、パラメータ化された指数関数形を用いた4つの基底関数に対する畳み込みアプローチを用いてカーネルを設計する。
• クロス・コバリアンス構造が反対称かつ半正定値となるように制約を課し、全共分散行列が有効な再生核のまま保たれるようにする。
• 複素入力間の類似度は、それらの複素差の絶対値によって測定され、カーネル設計における等方性および定常性が実現される。
• ハイパーパrameterは、複素数関数に適応されたウィーリングター微分を用いてマージナル尤度を最大化することで最適化される。
• 単一出力および複数出力回帰設定の両方でフレームワークを検証し、既存のベンチマークと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 実部と虚部間のクロス・コバリアンスをモデル化しつつ、等方性および定常性を保証する適切な複素数値カーネルをどのように設計できるか？
• RQ2 適切性を維持しつつ、確率的出力を伴う完全なベイズ推論を可能にする複素ガウス過程フレームワークを構築できるか？
• RQ3 マージナル尤度最大化におけるウィーリングター微分の使用が、複素数値回帰におけるハイパーパrameter学習をどのように改善するか？
• RQ4 クロス・コバリアンスが相殺されない状況において、提案されたカーネルは既存の複素カーネルに比べてどの程度の性能向上を達成するか？
• RQ5 提案されたフレームワークは、複素数値信号処理における複数出力学習タスクへどの程度一般化可能か？

主な発見

• 入力間の複素差の大きさを類似度測定に用いることで、提案されたカーネルは等方性および定常性を達成し、物理的システムのより良いモデル化を可能にする。
• 本手法は、クロス・コバリアンスが相殺されない困難な状況を効果的に処理でき、先行手法の限界を克服する。
• 先行研究で用いられたベンチマーク問題において、推定誤差が顕著に改善され、優れた一般化性能を示す。
• カーネル構造は構築段階で半正定値であることが保証されており、複素数値RKHSにおける有効な再生核としての妥当性が裏付けられる。
• ウィーリングター微分の使用により、クロスバリデーションを回避しつつ、効率的かつ正確なハイパーパrameter学習が実現される。
• カーネルの実部と虚部を独立してチューニング可能であり、適切性や安定性を損なわず、柔軟性が向上する。