[論文レビュー] Data efficient surrogate modeling for engineering design: Ensemble-free batch mode deep active learning for regression

Kapoor, Sarthak, Harsh Vardhan+4 more|arXiv (Cornell University)|Nov 16, 2022

Advanced Multi-Objective Optimization Algorithms被引用数 4

ひとこと要約

本稿では、工学設計分野における深層回帰のためのスケーラブルなアンサンブルフリーのバッチモードアクティブラーニング手法であるϵ-HQSを提案する。教師-生徒フレームワークを用いて、最小限のラベリングコストで情報量の多いサンプルを選択する。教師ネットワークを、生徒モデルの誤差に基づいて故障確率を予測するように訓練することで、固定予算制約下でCFD、FEA、プロペラ設計タスクの全範囲でベースライン手法よりも高いサーモンモデルの精度を達成した。

ABSTRACT

High fidelity design evaluation processes such as Computational Fluid Dynamics and Finite Element Analysis are often replaced with data driven surrogates to reduce computational cost in engineering design optimization. However, building accurate surrogate models still requires a large number of expensive simulations. To address this challenge, we introduce epsilon HQS, a scalable active learning strategy that leverages a student teacher framework to train deep neural networks efficiently. Unlike Bayesian AL methods, which are computationally demanding with DNNs, epsilon HQS selectively queries informative samples to reduce labeling cost. Applied to CFD, FEA, and propeller design tasks, our method achieves higher accuracy under fixed labeling cost budgets.

研究の動機と目的

• サーモンモデルのトレーニングデータを生成するための高コストなシミュレーションの回数を削減することで、トレーニングデータの生成にかかる計算コストを低減すること。
• 従来のベイジアンアクティブラーニング手法が深層ニューラルネットワークに適用された際のスケーラビリティおよび効率性の制限を解決すること。
• 高次元設計空間において、ランダムおよびヒューリスティックベースのサンプリングを上回る、サンプル効率の高いアクティブラーニング戦略を開発すること。
• CFD、FEA、プロペラ設計など、複雑な工学分野において、最小限のラベリング予算で高精度なサーモンモデルを構築することを可能にすること。

提案手法

• 本手法は、生徒が入力設計空間から出力応答へのシミュレータのマッピングを学習する教師-生徒ニューラルネットワークフレームワークを採用する。
• 教師ネットワークは、生徒の予測に基づいて得られる独自の「テストレポート」データセット上で訓練され、分数誤差閾値（α = 0.05）に基づく二値の故障ラベルが使用される。
• 故障確率は、教師ネットワークの出力として計算され、予測の不確実性または誤差が大きい領域へのバッチサンプリングを誘導する。
• 獲得関数は、各イテレーションで予測故障確率が最も高い上位-kサンプルを選択し、バッチモードアクティブラーニングを実現する。
• 新しいラベル付きデータを用いて、生徒および教師ネットワークを繰り返し再訓練し、予算が尽きるまで繰り返す。
• 動的ϵスケジューリング戦略（例：対数的増加）を用いることで、アクティブラーニングの過程で探索と活用のバランスをとる。

実験結果

リサーチクエスチョン

• RQ1 教師-生徒フレームワークを用いたアクティブラーニングは、工学設計分野の深層回帰タスクにおいて、従来のアクティブラーニング手法やランダムサンプリングを上回ることができるか？
• RQ2 提案手法ϵ-HQSは、ベースラインの獲得関数と比較して、高次元設計空間におけるサンプル効率をどのように向上させるか？
• RQ3 アンサンブルフリーでバッチモードであるϵ-HQSの設計は、計算オーバーヘッドをどれほど低減しつつ、高精度なサーモンモデルを維持できるか？
• RQ4 CFD、FEA、プロペラ設計など、複雑性や次元数が異なる多様な工学分野において、本手法は効果的にスケーリング可能か？

主な発見

• CFDドメインでは、合計500サンプルの予算下でϵ-HQSは97.62%の精度を達成し、次に優れた手法（DBAL-10：96.13%）を上回った。
• FEAドメインでは、ϵ-HQSは87.56%の精度に達し、ランダムサンプリング（83.76%）およびtop-Bサンプリング（83.11%）を顕著に上回った。
• プロペラ設計タスクでは、ϵ = 0.25の条件下でϵ-HQSは67.18%の精度を達成し、グリーディなϵ-HQSバージョンですら上回り、すべてのベースラインを上回った。
• 本手法は、3つのドメインすべてで一貫した優位性を示し、次元数の高い問題において性能向上が顕著に見られた。
• 高いサンプル効率と高価なシミュレーションへの依存度の低さのおかげで、ベースライン手法と比較してラベリング時間を数時間から数日短縮した。