[論文レビュー] Space-filling design for nonlinear models

Chang-Han Rhee, Enlu Zhou+1 more|arXiv (Cornell University)|Oct 31, 2017

Advanced Multi-Objective Optimization Algorithms参考文献 16被引用数 4

ひとこと要約

本稿では、非線形コンピュータモデルの出力多様体を一様にサンプリングするよう設計された反復的空間充填設計アルゴリズムを提案する。入力パrameter空間ではなく出力多様体を対象とすることで、最小限のシミュレーションでモデル挙動の効率的かつ信頼性の高い表現が可能になる。本手法は逆密度推定と局所的幾何学を用い、出力変動が大きい領域を優先する。Wasserstein距離における収束速度は $ O(N^{-rac{1- ho}{2(m+1)}}) $ のオーダーを達成する。

ABSTRACT

Performing a computer experiment can be viewed as observing a mapping between the model parameters and the corresponding model outputs predicted by the computer model. In view of this, experimental design for computer experiments can be thought of as devising a reliable procedure for finding configurations of design points in the parameter space so that their images represent the manifold parametrized by such a mapping (i.e., computer experiments). Traditional space-filling designs aim to achieve this goal by filling the parameter space with design points that are as "uniform" as possible in the parameter space. However, the resulting design points may be non-uniform in the model output space and hence fail to provide a reliable representation of the manifold, becoming highly inefficient or even misleading in case the computer experiments are non-linear. In this paper, we propose an iterative algorithm that fills in the model output manifold uniformly---rather than the parameter space uniformly---so that one could obtain a reliable understanding of the model behaviors with the minimal number of design points.

研究の動機と目的

• 従来の空間充填設計が非線形コンピュータ実験において非効率的で、入力空間における一様サンプリングが出力多様体の真の幾何構造を捉えきれないことへの対処。
• パrameterから出力への写像が非常に非線形であっても、モデル出力多様体の均一なカバーを保証する設計戦略の開発。
• 高価なシミュレーション回数を最小限に抑えつつ、出力空間全体におけるモデル挙動の信頼性の高い正確な表現を実現すること。
• 局所的幾何学および出力多様体の密度に基づいて、段階的に設計点を適応的に選択する理論的根拠に基づいた反復的アルゴリズムの提供。

提案手法

• 本手法は、非線形写像による出力多様体上に均一に分布するように、入力空間における設計点を反復的に選択する。
• 出力空間でサンプリングが疎な領域を特定し、それらを新たな設計点の優先順位に据えるために、局所的逆密度推定器を用いる。
• 出力の経験的分布と多様体上の目標一様分布との乖離を測るため、Wasserstein距離に基づく基準を採用する。
• 均一に間隔をあけた出力が得られるよう、逆写像の局所的線形近似を用いて必要な入力摂動を推定する。
• 疎な出力領域の探索と均一カバーへの収束のバランスを取るため、段階的なリファインメントステップによって設計点を更新する。
• 理論的分析では、逆写像のリプシッツ連続性と出力分布の密度に関する境界を用い、収束速度を確立する。

実験結果

リサーチクエスチョン

• RQ1 高次元非線形モデルにおいて、入力パrameter空間ではなく出力多様体の均一カバーを保証するコンピュータ実験の設計は可能か？
• RQ2 可能なモデル挙動の全範囲を均一に代表するように、最小限の入力設定の組合せを効率的に選択する方法は何か？
• RQ3 このような設計手順の収束速度は、シミュレーション回数の観点から理論的にどの程度か？
• RQ4 入力空間が大きくても出力多様体が低次元で強く曲がっている場合、本手法はどのように対処するか？

主な発見

• 提案アルゴリズムは、経験的出力分布と多様体上の一様目標分布との間のWasserstein距離において、$ O(N^{-\frac{1-\epsilon}{2(m+1)}}) $ のオーダーの収束速度を達成する。
• 特に高次曲率領域や非一様写像領域において、従来の空間充填設計よりも出力多様体の真の幾何構造を著しくよく捉えている。
• 理論的分析により、モデル写像にやや滑らかな正則性条件が課されれば、推定出力密度と真の出力密度との期待乖離はシミュレーション回数の増加に伴い減少することが示された。
• 同じまたは類似した出力領域に写像される入力空間の重複領域のサンプリングを効果的に回避し、計算的浪費を削減する。
• 収束速度は入力空間の固有次元 $ m $ と逆写像の滑らかさに依存し、滑らかさが高いモデルではより速い収束を示す。