[論文レビュー] Scalable Stochastic Kriging with Markovian Covariances

Liang Ding, Xiaowei Zhang|arXiv (Cornell University)|Mar 7, 2018

Simulation Techniques and Applications参考文献 23被引用数 3

ひとこと要約

本稿では、確率的クリギングにおける解析的逆行列化とスパースな精度行列を可能にする、新しいクラスのマルコフ連関関数（MCFs）を導入する。線形常微分方程式と関連する特定の関数形を活用することで、計算複雑性を O(n³) から O(n²) に低減し、低誤差または構造的設計の仮定のもとでさらなる高速化が可能となり、大規模なシミュレーションメタモデル化におけるスケーラビリティと数値的安定性を実現する。

ABSTRACT

Stochastic kriging is a popular technique for simulation metamodeling due to its exibility and analytical tractability. Its computational bottleneck is the inversion of a covariance matrix, which takes $O(n^3)$ time in general and becomes prohibitive for large n, where n is the number of design points. Moreover, the covariance matrix is often ill-conditioned for large n, and thus the inversion is prone to numerical instability, resulting in erroneous parameter estimation and prediction. These two numerical issues preclude the use of stochastic kriging at a large scale. This paper presents a novel approach to address them. We construct a class of covariance functions, called Markovian covariance functions (MCFs), which have two properties: (i) the associated covariance matrices can be inverted analytically, and (ii) the inverse matrices are sparse. With the use of MCFs, the inversion-related computational time is reduced to $O(n^2)$ in general, and can be further reduced by orders of magnitude with additional assumptions on the simulation errors and design points. The analytical invertibility also enhance the numerical stability dramatically. The key in our approach is that we identify a general functional form of covariance functions that can induce sparsity in the corresponding inverse matrices. We also establish a connection between MCFs and linear ordinary differential equations. Such a connection provides a flexible, principled approach to constructing a wide class of MCFs. Extensive numerical experiments demonstrate that stochastic kriging with MCFs can handle large-scale problems in an both computationally efficient and numerically stable manner.

研究の動機と目的

• 大規模な n に対して O(n³) の共分散行列の逆行列計算に起因する、確率的クリギングにおける計算および数値的不安定性のボトルネックを解消すること。
• 大きな共分散行列の悪条件性が引き起こすパラメータ推定の不正確さや予測誤差を克服すること。
• 解析的逆行列化と精度行列のスパarsityを保証する共分散関数のクラスを構築し、効率的かつ安定した計算を可能にすること。
• 線形常微分方程式との関連を活用して、原理的かつ柔軟な枠組みを構築し、このような共分散関数を構成すること。

提案手法

• 三重対角精度行列を誘導する特定の関数形を持つ、新たな共分散関数のクラスであるマルコフ連関関数（MCFs）を提案する。
• 共分散行列の逆行列がスパースかつ解析的に計算可能となる一般的な関数形を同定し、逆行列計算の複雑性を O(n³) から O(n²) に低減する。
• MCFs と線形常微分方程式との関連を活用して、望ましい性質を持つ有効なMCFsの広範かつ柔軟な族を生成する。
• グリーン関数と漸化式を用いて、逆共分散行列およびその行列式の閉形式表現を導出する。
• ラプラス展開と数学的帰納法を用いて、1つまたは2つの点を除いた部分行列の行列式がMCFパラメータに依存する再帰的構造に従うことを証明する。
• 特定の条件下（例えば、シミュレーション誤差が無視できる場合）では、数値的逆行列計算を完全に回避できるため、計算コストが O(n) にまで低減されることを示す。

実験結果

リサーチクエスチョン

• RQ1 解析的逆行列化とスパース性を両立する共分散関数のクラスを構築可能か？ これにより、確率的クリギングにおける計算複雑性が低減可能か？
• RQ2 MCFs と線形常微分方程式との関連を活用して、柔軟かつ原理的根拠を持つ有効な共分散関数の族を生成できるか？
• RQ3 設計点の配置やシミュレーション誤差構造が、MCFs における精度行列のスパarsity および可逆性に与える影響は何か？
• RQ4 大規模なシミュレーション設定において、MCFs を用いることで確率的クリギングの O(n³) ボトルネックをどの程度軽減できるか？
• RQ5 n が大きい場合に、標準的な確率的クリギングと比較して、MCFs の使用が著しく数値的安定性を向上させるか？

主な発見

• 提案されたマルコフ連関関数（MCFs）により、精度行列（共分散行列の逆行列）が解析的に逆行列可能かつスパースであることが保証され、計算複雑性が O(n³) から O(n²) に低減される。
• シミュレーション誤差が無視できる問題では、数値的行列逆行列計算が不要となるため、計算コストがさらに O(n) にまで低減される。
• MCFが誘導する精度行列の解析的逆行列化により、大規模な設定における悪条件行列に起因する問題が著しく緩和され、数値的安定性が顕著に向上する。
• 本手法は、MCFs と線形常微分方程式の解との間に直接的な関連を確立し、有効な共分散関数を体系的かつ柔軟に構築するための枠組みを提供する。
• 数値実験により、MCFs を用いた確率的クリギングが、大規模な問題において計算効率性と数値的安定性の両方を達成することが確認された。
• 設計点を1つまたは2つ除去して形成される部分行列の行列式は、MCFパラメータに依存する再帰的構造に従うため、尤度や予測分散の効率的計算が可能になる。