[論文レビュー] Evaluating the squared-exponential covariance function in Gaussian processes with integral observations

Johannes Hendriks, Carl Jidling+2 more|arXiv (Cornell University)|Dec 18, 2018

Probabilistic and Robust Engineering Design参考文献 13被引用数 8

ひとこと要約

本稿では、積分観測を持つガウス過程における二重線積分の平方指数共分散関数を計算する数値的に効率的な手法を提案する。二重積分を誤差関数を含む単一積分に還元し、効率的な数値積分法を活用することで、従来の手法と比較して、特に計算効率性と安定性において優れた精度を達成する。

ABSTRACT

This paper deals with the evaluation of double line integrals of the squared exponential covariance function. We propose a new approach in which the double integral is reduced to a single integral using the error function. This single integral is then computed with efficiently implemented numerical techniques. The performance is compared against existing state of the art methods and the results show superior properties in numerical robustness and accuracy per computation time.

研究の動機と目的

• 積分観測を持つガウス過程モデルにおける平方指数共分散関数の二重線積分を評価する計算上の課題に対処すること。
• この特定の問題に対して、従来の数値積分技術の代替として、数値的に堅牢で効率的な手法を開発すること。
• トモグラフィック再構成やシステム同定などの線積分測定を含む応用分野におけるガウス過程推論の精度と計算性能を向上させること。
• 二重積分を誤差関数を含む単一積分に閉形式で還元することにより、より高速で安定した数値評価を可能にすること。

提案手法

• 共分散計算における二重積分を、誤差関数の性質を用いて単一積分に変換することで、計算複雑度を低減する。
• 誤差関数の積分に関する恒等式を活用し、解を誤差関数の差分の形で表現する。
• 主な要素として、係数 $ c_1 = \mathbf{w}_i^T\mathbf{V}\mathbf{w}_i $, $ c_2 = 2\mathbf{w}_i^T\mathbf{V}\mathbf{v}_i $, および $ c_3 = \mathbf{v}_i^T\mathbf{V}\mathbf{v}_i $ の定義を含み、これらが誤差関数に基づく積分のパrameter化を可能にする。
• 得られた単一積分は、標準的な数値積分法を用いて評価され、高い精度と安定性を確保する。
• 二次形式の行列式が正である場合、積分を二変量正規累積分布関数として表現し、すでに最適化された数値ライブラリの利用が可能になる。
• 低ランク近似を回避することで、平方指数カーネルの完全な表現力が保持される。

実験結果

リサーチクエスチョン

• RQ1 平方指数共分散関数の二重線積分を、誤差関数を含む単一積分に還元できるか。その結果、計算効率が向上するか。
• RQ2 提案手法は、この問題に対する既存の最先端数値積分技術と比較して、精度と計算速度で優れているか。
• RQ3 提案手法の数値的堅牢性は、さまざまなパrameter設定や問題次元においてどのように評価されるか。
• RQ4 本手法は、トモグラフィック再構成や連続時間システム同定といった実世界の問題に効果的に適用可能か。

主な発見

• 提案手法により、二重積分が誤差関数を含む単一積分に還元され、計算が著しく簡素化される。
• 既存の最先端手法と比較して、単位計算時間あたりの数値的堅牢性と精度が優れている。
• 誤差関数の使用により、直接的な2次元積分法で生じる数値的不安定性を回避し、安定かつ効率的な積分評価が可能になる。
• 高次元設定においても高い精度を維持でき、精度と表現力の両面で低ランク近似スキームを上回る。
• 特にトモグラフィック再構成やシステム同定における線積分観測を含む問題に対して、本手法は顕著に効果的である。
• 実装では、二変量正規累積分布関数の既存の効率的数値ライブラリを活用しており、さらなる性能向上と信頼性の向上が図られている。