[論文レビュー] Deep Multi-Fidelity Active Learning of High-dimensional Outputs

Shibo Li, Robert M. Kirby+1 more|arXiv (Cornell University)|Dec 2, 2020

Machine Learning and Algorithms参考文献 70被引用数 7

ひとこと要約

本稿では、高次元出力に対する深層マルチフィデリティアクティブラーニングフレームワークであるDMFALを提案する。DMFALは、学習効率を最大化するために、最適なフィデリティと入力クエリを同時に選択する。深層ニューラルネットワークを用いてフィデリティ間の相関をモデル化し、計算可能なモーメントマッチングおよびデルタ法近似を用いた相互情報量ベースの獲得関数を採用することで、計算流体力学において数値ソルバー比最大466倍の高速化を達成し、ベースライン手法と比較してクエリコストを低く抑えながら一貫して優れた性能を発揮する。

ABSTRACT

Many applications, such as in physical simulation and engineering design, demand we estimate functions with high-dimensional outputs. The training examples can be collected with different fidelities to allow a cost/accuracy trade-off. In this paper, we consider the active learning task that identifies both the fidelity and input to query new training examples so as to achieve the best benefit-cost ratio. To this end, we propose DMFAL, a Deep Multi-Fidelity Active Learning approach. We first develop a deep neural network-based multi-fidelity model for learning with high-dimensional outputs, which can flexibly, efficiently capture all kinds of complex relationships across the outputs and fidelities to improve prediction. We then propose a mutual information-based acquisition function that extends the predictive entropy principle. To overcome the computational challenges caused by large output dimensions, we use multi-variate Delta's method and moment-matching to estimate the output posterior, and Weinstein-Aronszajn identity to calculate and optimize the acquisition function. The computation is tractable, reliable and efficient. We show the advantage of our method in several applications of computational physics and engineering design.

研究の動機と目的

• 物理的シミュレーションや工学設計における高次元出力関数のトレーニングデータ生成コストの高さに対処すること。
• 単位コストあたりの学習利益を最大化するために、入力位置とフィデリティを知的に選択するアクティブラーニングフレームワークの開発。
• 深層ニューラルネットワークを用いて、複数のフィデリティレベル間で複雑な高次元出力相関をモデル化すること。
• マルチフィデリティの不確実性と情報量の増加を考慮した、計算上で扱える獲得関数の設計。
• 大規模な出力次元に対しても、獲得関数の効率的かつスケーラブルな最適化を可能にすること。

提案手法

• 低次元の潜在表現を高次元出力に写像するフィデリティ固有のネットワークをチェーン化した深層ニューラルネットワークアーキテクチャを採用し、フィデリティ間の情報伝達を可能にする。
• 予測エントロピーをマルチフィデリティ設定に拡張した相互情報量ベースの獲得関数を採用し、高フィデリティのターゲットに関する情報量の増加を最大にするクエリを優先する。
• 多変量デルタ法を用いて、複数のフィデリティにおける隠れ表現の事後モーメントを解析的に推定する。
• モーメントマッチングを用いて、潜在出力の結合事後分布を多変量ガウス分布として近似し、計算可能な不確実性推定を実現する。
• ワイナイト＝アーロンツァイン恒等式を応用して、高次元出力射影のエントロピーを解析的に計算し、獲得関数の効率的最適化を可能にする。
• 確率的構造的変分学習を用いて、潜在層のランダム重みのハイパーパrameterと事後分布を同時に推定する。

実験結果

リサーチクエスチョン

• RQ1 深層マルチフィデリティモデルは、高次元出力と複数のフィデリティレベル間の複雑な相関を効果的に捉えることができるか？
• RQ2 高次元出力設定におけるアクティブラーニングにおいて、入力とフィデリティを最適に選択するための獲得関数はどのように設計できるか？
• RQ3 モンテカルロサンプルを用いるのではなく、解析的近似を用いることで、大規模な出力次元に起因する計算ボトル neck を克服できるか？
• RQ4 提案手法は、ランダムクエリリングやドロップアウトベースのベースラインと比較して、著しく優れた学習性能を発揮するか、かつ総コストを低く抑えるか？
• RQ5 DMFALで訓練されたサーモンモデルは、実世界の物理学的・工学的応用において、標準的な数値ソルバーと比較して顕著な高速化を達成できるか？

主な発見

• DMFALは、すべてのベンチマークタスクにおいて、競合手法と比較して顕著に低いnRMSEを達成し、すべてのクエリが終了した後でさえ性能が向上を続ける。
• トポロジー最適化のタスクでは、DMFALは基底真値に非常に近い構造を予測し、グローバルな形状と微細な局所的詳細の両方を捉えていた。一方、ベースライン手法はぼやけたまたは誤った予測を示していた。
• 計算流体力学の応用では、DMFALは標準的な数値ソルバーと比較して、速度場の予測で最大466倍の高速化を達成した。アクティブラーニングのコストを考慮しても同様の結果が得られた。
• ある精度水準に到達するための高フィデリティシミュレーション回数が著しく少なく抑えられ、特に高コストなCFD応用において優れたコスト効率を示した。
• 最先端の非アクティブラーニングサーモンモデルと比較しても、DMFALの深層マルチフィデリティアーキテクチャは一貫して優れた性能を発揮した。これは、アクティブラーニング統合の価値を示している。
• 相互情報量に基づく獲得関数は、BALDや予測分散の変種と比較して、特に初期学習段階で優れた性能を発揮した。