[論文レビュー] Multi-Fidelity Surrogate Based on Single Linear Regression

Yiming Zhang, Nam‐Ho Kim+2 more|arXiv (Cornell University)|May 8, 2017

Advanced Multi-Objective Optimization Algorithms参考文献 7被引用数 6

ひとこと要約

本稿では、低・高精度データを1次回帰で統合する最小二乗多忠実度代理モデル（LS-MFS）を提案する。高精度応答は、低精度予測と多項式型差異関数の線形結合としてモデル化される。本手法は反復的ハイパーパrameter最適化を必要とせず、一意で効率的なパrameter推定を保証し、ノイズが多い状況下でも従来のKrigingより精度が向上する設計最適化および不確実性評価への応用において、強固でスケーラブルな性能を発揮する。

ABSTRACT

Various frameworks have been proposed to predict mechanical system responses by combining data from different fidelities for design optimization and uncertainty quantification as reviewed by Fernández-Godino et al. and Peherstorfer et al.. Among all frameworks, the Bayesian framework based on Gaussian processes has the potential of highest accuracy. However, the Bayesian framework requires optimization for estimating hyper-parameters, and there is a risk of estimating inappropriate hyper-parameters as Kriging surrogate often does, especially in the presence of noisy data. We propose an easy and yet powerful framework for practical design and applications. In this technical note, we revised a heuristic framework which minimizes the prediction errors at high-fidelity samples using optimization. The system behavior (high-fidelity behavior) is approximated by a linear combination of the low-fidelity predictions and a polynomial-based discrepancy function. The key idea is to consider the low-fidelity model as a basis function in the multi-fidelity model with the scale factor as a regression coefficient. The design matrix for least-square estimation consists of both the low-fidelity model and discrepancy function. Then the scale factor and coefficients of the basis functions are obtained simultaneously using linear regression, which guarantees the uniqueness of fitting process. Besides enabling efficient estimation of the parameters, the proposed least-squares multi-fidelity surrogate (LS-MFS) can be applicable to other regression models by simply replacing the design matrix. Therefore, the LS-MFS is expected to be easily applied to various applications such as prediction variance, D-optimal designs, uncertainty propagation and design optimization.

研究の動機と目的

• ベイズ的手法におけるハイパーパrameter最適化の落とし穴を回避する実用的で安定した多忠実度代理モデルフレームワークの構築を目的とする。
• 特にハイパーパrameter推定が不適切になりがちなKriging代理モデルが失敗する状況において、ノイズが多いデータ下での予測精度の向上を目的とする。
• 低精度モデルと差異関数を基底関数として用いる最小二乗回帰アプローチにより、一意で効率的なパrameter推定を実現することを目的とする。
• 設計行列を単に変更することで、さまざまな回帰モデルに適応可能な柔軟なフレームワークの構築を目的とする。
• 工学的設計ワークフローにおける不確実性評価、設計最適化、分散予測を支援することを目的とする。

提案手法

• 高精度応答は、低精度予測と多項式ベースの差異関数の線形結合としてモデル化される。
• 最小二乗推定のための設計行列には、低精度モデル出力と差異項の基底関数が含まれる。
• 回帰係数（低精度データのスケール係数と差異関数の係数）は、同時に線形回帰により推定される。
• 最小二乗問題の凸性と線形性のおかげで、反復的最適化における収束問題を回避し、一意の解が保証される。
• 本フレームワークは一般化可能である：設計行列を置き換えることで、線形回帰を超える他の回帰モデルへの適応が可能となる。
• 予測誤差を最小化するために、本手法は直接的に高精度サンプル点に適用される。

実験結果

リサーチクエスチョン

• RQ1 反復的ハイパーパrameter最適化を必要とせず、安定的かつ一意の解を保証する多忠実度代理モデルを構築できるか？
• RQ2 ノイズが多いデータ条件下で、提案手法の最小二乗法はKrigingに比べて精度と頑健性に優れているか？
• RQ3 設計行列を変更するだけで、他の回帰モデルに一般化可能か？
• RQ4 低精度データに多項式差異関数を用いることで、高精度応答推定の精度が向上するか？
• RQ5 不確実性伝搬やD最適設計などの後続応用において、この手法がどの程度活用可能か？

主な発見

• 提案された最小二乗多忠実度代理モデル（LS-MFS）は、回帰問題の凸性と線形性のおかげで一意の解が保証される。
• 特にノイズが多い状況下でも、Krigingでよく見られるハイパーパrameter推定の悪化リスクを回避する。
• 反復的最適化を必要としないため、パラメータ推定が効率的で、計算効率が向上する。
• 設計行列を置き換えることで、さまざまな回帰モデルに直接適用可能であり、その汎用性が向上する。
• ベンチマーク比較を通じて、ノイズが多い状況下でも従来のKrigingよりも高い予測精度を達成していることが実証された。
• その頑健性とシンプルさのおかげで、設計最適化、不確実性評価、分散予測といった実用的応用が可能である。