[論文レビュー] Efficient Multiscale Gaussian Process Regression using Hierarchical Clustering

Ze Jia Zhang, Karthik Duraisamy+1 more|arXiv (Cornell University)|Nov 6, 2015

Gaussian Processes and Bayesian Inference参考文献 22被引用数 7

ひとこと要約

本稿では、大規模で非一様に分布する科学的データセットに対して計算コストを低減し、精度を向上させるための階層的クラスタリングに基づく手法であるマルチスケールガウス過程回帰（MGP）を提案する。複数スケールにおけるクラスタ中心をインダクティングポイントとして用いることで、7次元の乱流燃焼データセットにおいて、標準的なガウス過程（GP）に比べて評価を最大50倍高速化し、誤差は2%増加にとどめる。これは、スパースで不連続な領域でも優れた性能を発揮する。

ABSTRACT

Standard Gaussian Process (GP) regression, a powerful machine learning tool, is computationally expensive when it is applied to large datasets, and potentially inaccurate when data points are sparsely distributed in a high-dimensional feature space. To address these challenges, a new multiscale, sparsified GP algorithm is formulated, with the goal of application to large scientific computing datasets. In this approach, the data is partitioned into clusters and the cluster centers are used to define a reduced training set, resulting in an improvement over standard GPs in terms of training and evaluation costs. Further, a hierarchical technique is used to adaptively map the local covariance representation to the underlying sparsity of the feature space, leading to improved prediction accuracy when the data distribution is highly non-uniform. A theoretical investigation of the computational complexity of the algorithm is presented. The efficacy of this method is then demonstrated on smooth and discontinuous analytical functions and on data from a direct numerical simulation of turbulent combustion.

研究の動機と目的

• 大規模で高次元的かつ非一様に分布する科学的データセットに対して、標準的なガウス過程回帰の高い計算コストと低い精度を改善すること。
• 特徴空間におけるデータ分布がスパースな状況でも、予測精度を保持しつつ、学習および評価の複雑さを低減すること。
• リアルタイムのシミュレーションソルバーや同様の科学計算ワークフローにおける頻繁な評価に適したスケーラブルなGP手法を開発すること。
• マルチスケールクラスタリングを用いて局所的な共分散表現を適応的に変更することで、スパarsityが著しい領域や不連続領域における予測精度を向上させること。
• 乱流燃焼からの直接数値シミュレーションで得られる大規模データセットに対して、効率的かつ高精度な回帰を実現すること。

提案手法

• 本手法は、入力データをクラスタに分割する階層的クラスタリングを用い、そのクラスタ重心をスパースGP回帰のインダクティングポイントとして利用する。
• 異なる粒度のクラスタリングを適用することで複数スケールを導入し、局所的なデータスパarsityを適応的に表現可能にする。
• クラスタ重心を中心とするマルチスケール基底関数を用いて共分散構造を再定義し、有効な学習点数を削減する。
• ハイパーパrameterの最適化に修正された尤度最適化を用い、収束性を向上させるためにクラスタベースの初期化を導入する。
• 予測は、訓練データ全体のサイズではなくクラスタ数に比例する計算複雑度で実行される、削減されたインダクティングポイント集合を用いて行う。
• 各クラスタごとに可変長の相関長さをサポートすることで、非ステーションリティおよび不連続関数のより良いモデリングが可能になる。

実験結果

リサーチクエスチョン

• RQ1 データポイントの階層的クラスタリングは、大規模で非一様に分布するデータセットにおけるガウス過程回帰の効率性と精度を向上させ得るか？
• RQ2 クラスタリングされたインダクティングポイントによるマルチスケール表現は、データがスパースな領域や不連続領域における予測性能にどのように影響するか？
• RQ3 科学的計算応用において、予測精度の顕著な損失なしに、計算複雑度をどの程度低減できるか？
• RQ4 7次元の現実世界のシミュレーションデータにおいて、MGPは標準GPに比べて評価速度と誤差の点でどのように差をつけるか？
• RQ5 本手法は、乱流燃焼シミュレーションで生じる複雑で不連続な関数に対しても、実際に有効に適用可能か？

主な発見

• 滑らかな解析的関数において、MGPは標準GPに比べて少なくとも10倍の高速化を達成しながら、同等の精度を維持した。
• 不連続関数において、MGPは特にデータ密度が低い領域で標準GPよりも著しく優れたフィットを実現した。
• 300万件の学習点を含む7次元の乱流燃焼データセットにおいて、MGPは評価時間を50倍短縮（42秒から0.8秒へ）し、相対誤差は2%増加にとどめた。
• MGPの相対誤差は0.1105、標準GPは0.1087であり、顕著な精度低下なしに著しい高速化が達成されたことを示している。
• 炎のフラックスの等高線図およびラインプロットでは、MGPが標準GPと同等に炎の重要な物理的特徴を捉えており、解析的モデルよりも優れた性能を示した。
• 本手法は、科学的シミュレーションで一般的な高次元特徴空間における非一様なデータ分布に対しても、頑健に動作することが示された。