[论文解读] Efficient parameterization of flamelet manifolds via mixtures of deep experts: an a priori study

Opeoluwa Owoyele, Prithwish Kundu+1 more|arXiv (Cornell University)|Oct 23, 2019

Combustion and flame dynamics被引用 2

一句话总结

本文提出一种深度专家混合（MoE）框架，通过门控网络将高维湍流燃烧流形自动划分为专业化区域，将输入路由至专用神经网络。该方法实现了物理直观的分叉，降低了回归误差并减少了推理时间——当专家数量从1增加到8时，实现了约2倍的加速——同时在4D和5D火焰薄片表上，以相同网络规模提升了模型精度。

ABSTRACT

This work describes and validates an approach for autonomously bifurcating turbulent combustion manifolds to divide regression tasks amongst specialized artificial neural networks (ANNs). This approach relies on the mixture of experts (MoE) framework, where each neural network is trained to be specialized in a given portion of the input space. The assignment of different input regions to the experts is determined by a gating network, which is a neural network classifier. In some previous studies, it has been demonstrated that bifurcation of a complex combustion manifold and fitting different ANNs for each part leads to better fits or faster inference speeds. However, the manner of bifurcation in these studies was based on heuristic approaches or clustering techniques. In contrast, the proposed technique enables automatic bifurcation using non-linear planes in high-dimensional turbulent combustion manifolds that are often associated with complex behavior due to different dominating physics in various zones. The proposed concept is validated using 4-dimensional (4D) and 5D flamelet tables, showing that the errors obtained with a given network size, or conversely the network size required to achieve a given accuracy, is considerably reduced. The effect of the number of experts on inference speed is also investigated, showing that by increasing the number of experts from 1 to 8, the inference time can be approximately reduced by a factor of two. Moreover, it is shown that the MoE approach divides the input manifold in a physically intuitive manner, suggesting that the MoE framework can elucidate high-dimensional datasets in a physically meaningful way.

研究动机与目标

• 为解决传统回归模型在复杂、高维湍流燃烧流形建模中的挑战。
• 通过实现输入空间的自动、数据驱动的分区，克服基于启发式或聚类的分叉方法。
• 通过在燃烧流形的不同区域训练专用神经网络，提升模型效率与精度。
• 验证MoE方法在输入空间中产生的划分具有物理意义。
• 量化在火焰薄片流形回归中模型规模、精度与推理速度之间的权衡。

提出的方法

• 该方法采用专家混合（MoE）框架，多个专用神经网络（专家）在输入空间的不同区域进行训练。
• 一个独立的门控网络（一种神经分类器）根据输入在高维流形中的位置，动态地将其分配给最合适的专家。
• 通过非线性决策边界对输入空间进行分区，这些边界能自适应地捕捉湍流燃烧中具有不同主导物理机制的区域。
• 该方法在4D和5D火焰薄片表上进行了验证，代表了不同当量比和标量耗散率下的详细火焰薄片解。
• 通过回归误差、网络规模和推理速度等指标，在不同专家数量下评估模型性能。
• 该方法支持专家和门控网络的端到端联合训练，确保最优的路由与专业化。

实验结果

研究问题

• RQ1 MoE框架能否自动识别并把复杂、高维的燃烧流形划分为具有物理差异的区域？
• RQ2 与相同规模的单一统一神经网络相比，MoE方法是否能降低回归误差？
• RQ3 增加专家数量如何影响推理速度和模型效率？
• RQ4 MoE框架诱导的分区是否与湍流火焰中潜在的物理行为一致？
• RQ5 MoE模型能否在比传统模型更小的网络规模下，实现相当或更高的精度？

主要发现

• 对于给定的网络规模，MoE框架通过在4D和5D火焰薄片流形的不同区域实现专业化建模，降低了回归误差。
• 在目标精度下，MoE方法所需的总网络规模显著小于单一统一网络。
• 当专家数量从1增加到8时，推理时间减少了约两倍，表明计算效率显著提升。
• MoE模型对输入空间的划分方式与火焰行为中的物理转变（如主导反应机理的变化）相一致。
• 门控网络能根据物理相关性成功地将输入路由至相应专家，表明MoE框架捕捉到了数据中潜在的物理结构。
• 该方法可同时实现更快的推理速度和更高的精度，适用于实时或大规模燃烧模拟。