[論文レビュー] Adaptive design of supercomputer experiments

Robert B. Gramacy, Herbert K. H. Lee|arXiv (Cornell University)|May 28, 2008

Machine Learning and Algorithms参考文献 37被引用数 16

ひとこと要約

この論文は、計算コストを最小限に抑えながら非ステーションリティ（非定常性）の応答面をモデル化するための、スーパーコンピュータ実験に適した適応的逐次設計フレームワークを提案している。予測不確実性を活用して非同期的・エージェントベースの環境で実験を実行するように誘導することで、固定されたスパarsな設計と比較して空間的カバレッジと精度が向上する。

ABSTRACT

Computer experiments are often performed to allow modeling of a response surface of a physical experi-ment that can be too costly or difficult to run except using a simulator. Running the experiment over a dense grid can be prohibitively expensive, yet running over a sparse design chosen in advance can result in obtaining insufficient information in parts of the space, particularly when the surface is nonstation-ary. We propose an approach which automatically explores the space while simultaneously fitting the response surface, using predictive uncertainty to guide subsequent experimental runs. The newly devel-oped Bayesian treed Gaussian process is used as the surrogate model, and a fully Bayesian approach allows explicit nonstationary measures of uncertainty. Our adaptive sequential design framework has been developed to cope with an asynchronous, random, agent-based supercomputing environment. We take a hybrid approach which melds optimal strategies from the statistics literature with flexible strate-gies from the active learning literature. The merits of this approach are borne out in several examples, including the motivating example of a computational fluid dynamics simulation of rocket booster. Key words: nonstationary spatial model, treed partitioning, sequential design, active learning 1

研究の動機と目的

• スーパーコンピュータ実験における高価な密グリッドサンプリングの高コストと非効率性に対処すること。
• 非定常応答面において重要な領域を逃す可能性がある固定スパース設計の制限を克服すること。
• 入力空間を適応的に探索すると同時に、正確なサーモンモデルを構築するフレームワークを開発すること。
• 非同期的・エージェントベースのスーパーコンピューティング環境における効率的で逐次的な実験を可能にすること。
• 統計学からの最適設計戦略と柔軟なアクティブラーニングアプローチを統合し、応答面推定を改善すること。

提案手法

• 非定常空間的挙動を捉えるために、応答面のサーモンモデルとしてベイジアンツリー付きガウス過程（B-TGP）を採用する。
• B-TGPからの予測不確実性を活用して、新たな実験走行の選定を、不確実性が大きい領域に集中させる。
• 完全ベイジアン推論アプローチにより、意思決定のための明示的で非定常的な不確実性測度が得られる。
• 非同期的・ランダムでエージェントベースの実行をサポートするため、大規模なスーパーコンピューティング環境に適している。
• 統計学からの最適設計原理とアクティブラーニング戦略を組み合わせ、探索と活用のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 計算的に高価なスーパーコンピュータ実験において、高次元で非定常な応答面をどのように効率的に探索できるか。
• RQ2 シミュレーション回数を最小限に抑えながら、モデルの正確性と空間的カバレッジを最大化するサンプリング戦略は何か。
• RQ3 予測不確実性をどのように効果的に活用して、分散的・非同期コンピューティング環境における逐次的実験設計を誘導できるか。
• RQ4 ベイジアンツリー付きガウス過程は、複雑な非定常応答面を捉える際に、標準的な定常モデルをどの程度上回るか。
• RQ5 最適設計の原則をアクティブラーニングとどのように統合し、スーパーコンピュータ実験のための適応的設計を実現できるか。

主な発見

• 固定スパース設計と比較して、特に非定常領域において、応答面推定の正確性が顕著に向上する。
• 予測不確実性の活用により、高不確実性領域の効果的な探索が可能になり、必要なシミュレーション回数が削減される。
• ベイジアンツリー付きガウス過程は、意思決定を強化する明示的で非定常的な不確実性測度を提供する。
• 非同期的・エージェントベースのスーパーコンピューティング環境でもフレームワークは頑健であり、スケーラブルかつ分散型の実験が可能である。
• 実世界のロケットブースターの計算流体力学シミュレーションにおいて、その実用的有効性が検証された。