[論文レビュー] Efficient parameterization of flamelet manifolds via mixtures of deep experts: an a priori study

Opeoluwa Owoyele, Prithwish Kundu+1 more|arXiv (Cornell University)|Oct 23, 2019

Combustion and flame dynamics被引用数 2

ひとこと要約

本論文は、入力空間を物理的に直感的な分岐に自動的に分割するための、深層エキスパートの混合（MoE）フレームワークを提案する。ゲーティングネットワークを用いて入力を専用のニューラルネットワークにルーティングすることで、回帰誤差と推論時間を低減する。エキスパート数を1から8に増加させた際、約2倍の高速化を達成する。4Dおよび5Dのフラメレットテーブルにおいて、同じネットワークサイズでモデルの精度を向上させる。

ABSTRACT

This work describes and validates an approach for autonomously bifurcating turbulent combustion manifolds to divide regression tasks amongst specialized artificial neural networks (ANNs). This approach relies on the mixture of experts (MoE) framework, where each neural network is trained to be specialized in a given portion of the input space. The assignment of different input regions to the experts is determined by a gating network, which is a neural network classifier. In some previous studies, it has been demonstrated that bifurcation of a complex combustion manifold and fitting different ANNs for each part leads to better fits or faster inference speeds. However, the manner of bifurcation in these studies was based on heuristic approaches or clustering techniques. In contrast, the proposed technique enables automatic bifurcation using non-linear planes in high-dimensional turbulent combustion manifolds that are often associated with complex behavior due to different dominating physics in various zones. The proposed concept is validated using 4-dimensional (4D) and 5D flamelet tables, showing that the errors obtained with a given network size, or conversely the network size required to achieve a given accuracy, is considerably reduced. The effect of the number of experts on inference speed is also investigated, showing that by increasing the number of experts from 1 to 8, the inference time can be approximately reduced by a factor of two. Moreover, it is shown that the MoE approach divides the input manifold in a physically intuitive manner, suggesting that the MoE framework can elucidate high-dimensional datasets in a physically meaningful way.

研究の動機と目的

• 従来の回帰モデルでは、高次元の乱流燃焼多様体を正確にモデリングするという課題に対処すること。
• ヒューリスティック法やクラスタリングに基づく分岐手法の限界を克服し、入力空間の自動的・データ駆動的な分割を可能にすること。
• 燃焼多様体の異なる領域に特化したニューラルネットワークを訓練することで、モデルの効率性と精度を向上させること。
• MoEアプローチが物理的に意味のある入力空間の分割をもたらすことを検証すること。
• フラメレット多様体回帰において、モデルサイズ、精度、推論速度のトレードオフを定量化すること。

提案手法

• 本手法は、複数の特化型ニューラルネットワーク（エキスパート）を入力空間の異なる領域で訓練する、エキスパートの混合（MoE）フレームワークを採用する。
• 別個のゲーティングネットワーク（ニューラル分類器）が、入力の高次元多様体内での位置に基づき、各入力を最も適切なエキスパートに動的に割り当てる。
• 乱流燃焼における異なる支配的物理現象を有する領域に適合する非線形の意思決定境界を用いて、入力空間を分割する。
• 本手法は、さまざまなストーク比およびスカラー散逸率をカバーする詳細なフラメレット解を表す4Dおよび5Dのフラメレットテーブルで検証される。
• 回帰誤差、ネットワークサイズ、および推論速度の観点から、エキスパート数を変化させた場合のモデル性能を評価する。
• エキスパートとゲーティングネットワークの両方をエンドツーエンドで訓練可能であり、最適なルーティングと特化を保証する。

実験結果

リサーチクエスチョン

• RQ1 MoEフレームワークは、複雑で高次元の燃焼多様体を物理的に明確な領域に自動的に同定・分割できるか？
• RQ2 同じサイズの単一の統合型ニューラルネットワークと比較して、MoEアプローチは回帰誤差を低減するか？
• RQ3 エキスパート数を増加させると、推論速度とモデル効率性にどのような影響を与えるか？
• RQ4 MoEフレームワークが誘導する分割は、乱流炎における物理的挙動と整合性を持つか？
• RQ5 従来のモデルと比較して、MoEモデルはより小さなネットワークサイズで同等またはより高い精度を達成できるか？

主な発見

• 同じネットワークサイズで、4Dおよび5Dのフラメレット多様体の異なる領域を特化型でモデリングできるため、MoEフレームワークは回帰誤差を低減する。
• 目標精度を達成するため、MoEアプローチは単一の統合ネットワークと比較して、はるかに小さい合計ネットワークサイズで実現できる。
• エキスパート数を1から8に増加させることで、推論時間が約2倍短縮され、計算効率の向上が実証された。
• MoEモデルは、反応機構の支配的変化などの物理的転移と整合する形で入力空間を分割する。
• ゲーティングネットワークは物理的関連性に基づいて入力をエキスパートにルーティングできており、MoEフレームワークがデータの背後にある物理的構造を捉えていることを示している。
• 本手法は、同時に高速な推論と高い精度を実現するため、リアルタイムまたは大規模な燃焼シミュレーションに適している。