[論文レビュー] Kriging-based sequential design strategies using fast cross-validation techniques with extensions to multi-fidelity computer codes

Loïc Le Gratiet, Claire Cannamela|arXiv (Cornell University)|Oct 23, 2012

Advanced Multi-Objective Optimization Algorithms参考文献 21被引用数 12

ひとこと要約

本稿では、予測誤差が大きい領域を特定するために、kriging分散とLeave-One-Out cross-validation (LOO-CV)誤差を組み合わせた、krigingに基づく逐次設計戦略を提案する。この戦略により、代理モデルの精度が向上する。さらに、多忠実度co-krigingへの拡張により、正確なコードと粗いコードのシミュレーション割り当てを最適化可能となり、粗いコードが有用な場合には標準krigingを上回る性能を示し、無関係な場合には同等の性能を発揮することが実証された。

ABSTRACT

Kriging-based surrogate models have become very popular during the last decades to approximate a computer code output from few simulations. In practical applications, it is very common to sequentially add new simulations to obtain more accurate approximations. We propose in this paper a method of kriging-based sequential design which combines both the error evaluation providing by the kriging model and the observed errors of a Leave-One-Out cross-validation procedure. This method is proposed in two versions, the first one selects points one at-a-time. The second one allows us to parallelize the simulations and to add several design points at-a-time. Then, we extend these strategies to multi-fidelity co-kriging models which allow us to surrogate a complex code using fast approximations of it. The main advantage of these extensions is that it not only provides the new locations where to perform simulations but also which versions of code have to be simulated (between the complex one or one of its fast approximations). A real multi-fidelity application is used to illustrate the efficiency of the proposed approaches. In this example, the accurate code is a two-dimensional finite element model and the less accurate one is a one-dimensional approximation of the system.

研究の動機と目的

• 予測誤差が最も高い領域を特定するために、kriging分散とLOO-CV誤差を組み合わせ、予測誤差が最大となる点を逐次的に選択することで、kriging代理モデルの精度を向上させること。
• 一様に複数点を同時に追加するが、精度を維持できる並列化可能な逐次設計戦略を開発すること。
• 提案された基準を多忠実度co-krigingモデルに拡張し、入力位置とコードバージョン（正確または粗い）の両方を同時に最適化して選択可能とする。
• 各コードレベルの計算コストと予測的貢献度を考慮し、高忠実度コードと低忠実度コード間でのリソース割り当てを最適化すること。
• 1次元近似を粗いコードとして用いる球形容器の実世界有限要素応用において、本手法を検証すること。

提案手法

• LOO-CV誤差を用いて、実モデル誤差が大きい領域を特定し、kriging分散が設計点の近接度のみを反映するのを補完する。
• Dubrule (1983) が提示した高速な解析的公式を活用し、再トレーニングを避けてLOO-CV誤差を効率的に計算する。
• 逐次krigingでは、1点ずつ追加する戦略とq点同時に追加する戦略の2通りを提案し、後者は並列シミュレーションを可能にする。
• 多忠実度co-krigingでは、IMSE低減の代理指標を導入し、各コードレベルが全体の分散に与える寄与度とCPU時間比の両方を考慮する。
• 本手法は、どこにサンプルを取るかだけでなく、期待誤差低減量/単位時間の観点から、粗いか正確なコードバージョンをシミュレートするかを決定する。
• アルゴリズムは動的に実行をコードレベル間で割り当て、粗いコードが有用な場合には初期段階で優先的に割り当て、モデル収束に伴い正確なコードにシフトする。

実験結果

リサーチクエスチョン

• RQ1 kriging分散とLOO-CV誤差を組み合わせることで、特に非ステーションナリィ問題において、分散のみを基準とする手法よりも効果的な逐次設計が可能になるか？
• RQ2 krigingに基づく代理モデルにおいて、精度を損なわず、どのようにして逐次設計を効率的に並列化できるか？
• RQ3 入力位置とコードバージョン選択を同時に最適化する戦略が、多忠実度co-krigingに恩恵をもたらすか？
• RQ4 粗いコードと正確なコードの相関関係が変化する場合、本手法はどのように適応し、粗いコードが無関係な場合の性能はいかにか？
• RQ5 固定されたCPU予算下で、高忠実度コードと低忠実度コード間の計算リソース割り当てをどの程度最適化できるか？

主な発見

• 提案されたkriging基準は、非ステーションナリィ関数において古典的手法の分散基準を著しく上回り、MSEの経験的収束が改善された。
• ステーションナリィ関数においては、新基準は古典的手法と同等の性能を示し、関数タイプにかかわらず安定した性能を確認した。
• 球形容器の応用において、本手法は粗いコードが正確なコードと弱い相関（45%）しか示さないことを特定し、その結果、最小限のシミュレーション回数を割り当てた。
• 粗いコードが有用な場合、多忠実度co-krigング戦略はkriging単体よりも優れた性能を発揮し、多忠実度モデリングの価値を実証した。
• 逐次co-krigング戦略は、初期段階で粗いコードに多くのシミュレーションを割り当て、モデルが収束するに従い正確なコードにシフトする動的割り当てを実現し、理論的期待と整合した。
• 粗いコードが無関係な場合、本手法はkrigingと同等の性能を発揮し、このような状況でも性能が劣化しないことを確認した。