[論文レビュー] Invariances of random fields paths, with applications in Gaussian Process Regression

David Ginsbourger, Olivier Roustant+1 more|arXiv (Cornell University)|Aug 6, 2013

Gaussian Processes and Bayesian Inference参考文献 41被引用数 3

ひとこと要約

本稿は、ランダム場における経路的不変性（加法性、対称性、スパarsityなど）とその共分散カーネルの不変性特性を結びつける理論的枠組みを確立する。中心化された二階モーメントを持つランダム場に関して、合成作用素の線形結合による経路不変性は、カーネルの引数に関する不変性と同値であることが示され、Loève等長性を用いたガウス過程への拡張により、微分作用素や積分作用素に対しても不変性を実現可能となる。これにより、構造的カーネル設計を用いた精度向上が可能となるガウス過程回帰の向上が可能となる。

ABSTRACT

We study pathwise invariances of centred random fields that can be controlled through the covariance. A result involving composition operators is obtained in second-order settings, and we show that various path properties including additivity boil down to invariances of the covariance kernel. These results are extended to a broader class of operators in the Gaussian case, via the Loève isometry. Several covariance-driven pathwise invariances are illustrated, including fields with symmetric paths, centred paths, harmonic paths, or sparse paths. The proposed approach delivers a number of promising results and perspectives in Gaussian process regression.

研究の動機と目的

• 共分散カーネルの構造を用いて、ランダム場における経路的不変性を特徴づけること。
• 加法的および群不変カーネルに関する既存の結果を、より広い作用素のクラスへと拡張すること。
• スパarsityや対称性などの構造的事前分布が、ガウス過程回帰の性能向上にどのようにカーネルに組み込まれるかを示すこと。
• 望ましい関数的経路特性を強制するカーネル設計の理論的基盤を提供すること。
• 真の関数が完全に不変ではない場合でも、不変性仮定がモデルの精度を向上させることを示すこと。

提案手法

• 合成作用素の線形結合による経路不変性と、共分散カーネルの引数に関する不変性を結びつける一般枠組みを提案する。
• Loève等長性を用いて、第二モーメントのランダム場からガウス過程への結果の拡張を図り、微分作用素や積分作用素に対しても不変性を実現可能とする。
• カーネル分解を用いて、高次元ランダム場における加法的経路を特徴づけ、ANOVA型およびスパースカーネルと関連付ける。
• 構造的事前分布（例：対称性、加法性、スパarsity）をカーネルに組み込むことで、ガウス過程回帰に理論を適用する。
• ハイパーパramータには最尤推定を用い、モデルの評価には対数尤度、RMSE、Q²指標を用いる。
• 真の関数が完全に不変ではない場合でも、カーネルに基づく不変性が、標準カーネルよりも優れた予測性能をもたらすことを示した。

実験結果

リサーチクエスチョン

• RQ1 ランダム場における加法性や対称性といった経路的不変性は、どのように共分散カーネルの性質によって特徴づけられるか？
• RQ2 共分散カーネルにどのような条件を課すと、サンプル経路が与えられた線形作用素に対して不変となるか？
• RQ3 カーネル構造における不変性は、ガウス過程回帰における予測性能をどの程度向上させるか？
• RQ4 Loève等長性は、第二モーメントのランダム場からガウス過程への経路不変性の拡張をどのように可能にするか？
• RQ5 スパarsityや対称性を強制する構造的カーネルは、高次元関数近似において標準カーネルを上回る性能を示せるか？

主な発見

• 中心化されたランダム場が、合成作用素の線形結合に対して経路不変であるための必要十分条件は、カーネルが同じ変換を引数に施した場合に不変であることである。
• 提案された枠組みは、加法的および群不変カーネルに関する先行研究を一般化し、高次元設定における加法的経路を導くカーネルの完全な特徴づけを提供する。
• ガウス過程では、Loève等長性を用いることで、微分作用素や積分作用素などより広範な作用素に対しても不変性を達成可能となり、経路不変性とカーネル構造の関連が明確化される。
• 感度解析に基づくスパースカーネル（例：$k_{spa}$）を用いたモデルが予測性能が最も高く、Q² = 0.71、RMSE = 0.74と、標準カーネル$k_{gauss}$および$k_{add}$を上回った。
• 真の関数が完全に不変ではない場合でも、スパarsityなどの構造的事前分布を仮定することで、次元の呪いの緩和が図られ、モデル精度が顕著に向上する。
• 対数尤度は$k_{gauss}$の-45.73から$k_{anova}$の-1.48に向上し、カーネル設計によるモデル適合度の著しい向上が示された。