[論文レビュー] A representation theorem for stochastic processes with separable covariance functions, and its implications for emulation

J Rougier|arXiv (Cornell University)|Feb 18, 2017

Advanced Multi-Objective Optimization Algorithms参考文献 28被引用数 11

ひとこと要約

本稿は、連続的可分性を持つ共分散関数を有する任意の確率過程が、それぞれの入力次元における非相関確率変数と連続関数の積の重み付き和として表現可能であることを示す表現定理を確立している。主な貢献は、このような過程が非相関過程の積と2次モーメントで同等であることを証明したことであり、これはコンピュータモデルのエミュレーションにおける従来の可分共分散関数の使用を根本的に疑問視するもので、強い構造的制約を露呈している。

ABSTRACT

Many applications require stochastic processes specified on two- or higher-dimensional domains; spatial or spatial-temporal modelling, for example. In these applications it is attractive, for conceptual simplicity and computational tractability, to propose a covariance function that is separable; e.g., the product of a covariance function in space and one in time. This paper presents a representation theorem for such a proposal, and shows that all processes with continuous separable covariance functions are second-order identical to the product of second-order uncorrelated processes. It discusses the implications of separable or nearly separable prior covariances for the statistical emulation of complicated functions such as computer codes, and critically reexamines the conventional wisdom concerning emulator structure, and size of design.

研究の動機と目的

• 多変数ドメインにおける確率過程に可分共分散関数を用いることの理論的意味を明確化すること。
• 可分共分散関数が、それらの背後にある確率過程に根本的な構造的制約を課すかどうかを調査すること。
• コンピュータ実験におけるエミュレータ全体を可分共分散関数で構築できるという一般的な常識の妥当性と限界を評価すること。
• 表現定理を用いて、可分共分散関数を有する過程の2次モーメント的特徴を明らかにすること。
• 可分性の影響が、特に高次元入力空間における実験設計とエミュレータの性能に及ぼす影響を検討すること。

提案手法

• 中心化された確率過程が連続的可分共分散関数を有する場合、その表現定理を導出し、非相関確率変数と各次元における連続基底関数の積の和として表現可能であることを示している。
• 可分共分散関数を有する過程が2次モーメントで同等な非相関過程の積として表現可能であることを形式化するため、k次非相関族の概念を導入している。
• 可分性の下で共分散行列がクロンネッカー積構造を取ることを活用し、グリッド上の観測における計算と解析を簡略化している。
• 表現定理を応用して、特に事前分散構造と実験設計の文脈におけるコンピュータモデルのエミュレーションに及ぼす影響を分析している。
• シミュレータの実行結果を用いて可分エミュレータを更新すると、事後共分散関数の可分性が失われるが、事前の制約が入力空間の端縁部での性能に依然影響を及ぼす可能性があることを示している。
• 設計サイズに関する標準的「n = 10p」ルールを批判的に評価し、高次元空間の隅でデータが疎である場合に可分事前分布が悪化した外挿性能を引き起こす可能性があることを示している。

実験結果

リサーチクエスチョン

• RQ1 可分共分散関数を有する確率過程の正確な構造的形態は何か？
• RQ2 可分共分散関数を仮定することで、2次モーメント的性質の観点から、それらの背後にある確率過程にどの程度制約が課されるか？
• RQ3 独立過程の積の形は、可分共分散関数を有する過程の2次モーメント的挙動を完全に説明できるか？
• RQ4 エミュレータにおける可分共分散関数の使用が、特に高次元入力空間において予測の信頼性にどのような影響を及ぼすか？
• RQ5 計算上の利便性があるにもかかわらず、なぜ可分共分散関数から構築されるエミュレータ全体の慣習的実践が問題であると考えられるのか？

主な発見

• 連続的可分共分散関数を有する確率過程は、それぞれの入力次元における非相関確率変数と連続関数の積の和と2次モーメントで同等である。
• 表現定理により、可分性の必要十分条件が確立されている：過程は ∑ᵢⱼ Zᵢⱼ gᵢ(x)hⱼ(y) の形に表現可能で、{Zᵢⱼ} は非相関、平均ゼロ、分散1の確率変数である。
• 逆方向の結果により、可分共分散関数を有する任意の過程の2次モーメント構造は、2つの非相関過程の積によって再現可能であり、k重非相関族を用いて形式化されている。
• エミュレータにおける可分共分散関数の使用は、シミュレータ出力 f(x,y) が fₓ(x)fᵧ(y) の形で近似可能であると暗黙的に仮定しており、これは必ずしも正当化されない強い構造的制約である。
• 可分事前分布は、高次元入力空間の端や隅において、データが疎であるため事前分布が支配的になることから、外挿性能が劣化する可能性がある。
• 可分エミュレータをシミュレータの実行結果で更新すると、事後共分散関数の可分性は失われるが、事前の構造的仮定が依然として事後分布に影響を及ぼし、特に高次元領域では顕著である。