[논문 리뷰] Efficient parameterization of flamelet manifolds via mixtures of deep experts: an a priori study

Opeoluwa Owoyele, Prithwish Kundu외 1명|arXiv (Cornell University)|2019. 10. 23.

Combustion and flame dynamics인용 수 2

한 줄 요약

이 논문은 고차원 난류燃焼 다각형을 전문화된 영역으로 자동으로 분할하기 위해 딥 전문가(모스) 프레임워크를 제안한다. 게이팅 네트워크를 통해 입력을 전용 신경망에 라우팅함으로써, 물리적으로 직관적인 분기 구조를 가능하게 하여 회귀 오차와 추론 시간을 감소시킨다. 전문가 수를 1에서 8로 증가시킬 때 약 2배의 속도 향상을 달성하며, 4D 및 5D 플레임렛 표본에서 동일한 네트워크 크기로 모델 정확도를 향상시킨다.

ABSTRACT

This work describes and validates an approach for autonomously bifurcating turbulent combustion manifolds to divide regression tasks amongst specialized artificial neural networks (ANNs). This approach relies on the mixture of experts (MoE) framework, where each neural network is trained to be specialized in a given portion of the input space. The assignment of different input regions to the experts is determined by a gating network, which is a neural network classifier. In some previous studies, it has been demonstrated that bifurcation of a complex combustion manifold and fitting different ANNs for each part leads to better fits or faster inference speeds. However, the manner of bifurcation in these studies was based on heuristic approaches or clustering techniques. In contrast, the proposed technique enables automatic bifurcation using non-linear planes in high-dimensional turbulent combustion manifolds that are often associated with complex behavior due to different dominating physics in various zones. The proposed concept is validated using 4-dimensional (4D) and 5D flamelet tables, showing that the errors obtained with a given network size, or conversely the network size required to achieve a given accuracy, is considerably reduced. The effect of the number of experts on inference speed is also investigated, showing that by increasing the number of experts from 1 to 8, the inference time can be approximately reduced by a factor of two. Moreover, it is shown that the MoE approach divides the input manifold in a physically intuitive manner, suggesting that the MoE framework can elucidate high-dimensional datasets in a physically meaningful way.

연구 동기 및 목표

• 기존의 회귀 모델이 복잡한 고차원 난류燃焼 다각형을 정확하게 모델링하는 데 도전하는 문제를 해결하기 위해.
• 수동적 또는 클러스터링 기반의 분기화 방법을 넘어서, 입력 공간의 자동이고 데이터 기반의 분할을 가능하게 하기 위해.
• 연소 다각형의 서로 다른 영역에서 전문화된 신경망을 훈련시켜 모델의 효율성과 정확도를 향상시키기 위해.
• MoE 접근법이 물리적으로 의미 있는 입력 공간의 분할을 제공하는지 검증하기 위해.
• 플레임렛 다각형 회귀에서 모델 크기, 정확도, 추론 속도 간의 상호 상충 관계를 정량화하기 위해.

제안 방법

• 이 방법은 여러 전문화된 신경망(전문가)이 입력 공간의 서로 다른 영역에서 훈련되는 혼합 전문가(MoE) 프레임워크를 사용한다.
• 입력 공간의 위치에 따라 가장 적절한 전문가를 동적으로 할당하기 위해 별도의 게이팅 네트워크(신경 분류기)를 사용한다.
• 난류 연소에서 주로 작용하는 물리적 메커니즘이 다른 영역에 맞게 적응하는 비선형 결정 경계를 사용하여 입력 공간을 분할한다.
• 이 방법은 다양한 등가비율과 스칼라 소산률을 포함한 상세한 플레임렛 해를 반영하는 4D 및 5D 플레임렛 표본에서 검증된다.
• 전문가 수의 변화에 따라 모델 성능을 회귀 오차, 네트워크 크기, 추론 속도 측면에서 평가한다.
• 전문가와 게이팅 네트워크를 종단 간(end-to-end)으로 훈련시어 최적의 라우팅과 전문화를 보장한다.

실험 결과

연구 질문

• RQ1 MoE 프레임워크는 고차원 난류 연소 다각형을 물리적으로 구분 가능한 영역으로 자동으로 식별하고 분할할 수 있는가?
• RQ2 동일한 크기의 단일 통합 신경망과 비교해 MoE 접근법이 회귀 오차를 감소시키는가?
• RQ3 전문가 수를 늘일수록 추론 속도와 모델 효율성은 어떻게 변화하는가?
• RQ4 MoE 프레임워크에 의해 유도된 분할은 난류flame에서의 기초 물리적 거동과 일치하는가?
• RQ5 기존 모델보다 더 작은 네트워크 크기로 MoE 모델이 동일하거나 더 높은 정확도를 달성할 수 있는가?

주요 결과

• 동일한 네트워크 크기에서 MoE 프레임워크는 4D 및 5D 플레임렛 다각형의 서로 다른 영역에 대한 전문화된 모델링을 가능하게 하여 회귀 오차를 감소시킨다.
• 목표 정확도를 달성하기 위해 MoE 접근법은 단일 통합 네트워크보다 훨씬 작은 총 네트워크 크기를 요구한다.
• 전문가 수를 1에서 8로 늘일 경우 추론 시간이 약 두 배로 감소하여 계산 효율성이 향상됨을 보여준다.
• MoE 모델은 플레임트 행동의 물리적 전이(예: 주요 반응 메커니즘의 변화)와 일치하는 방식으로 입력 공간을 분할한다.
• 게이팅 네트워크는 물리적 관련성에 따라 입력을 전문가에 라우팅하는 데 성공하여, MoE 프레임워크가 데이터 내 기초 물리적 구조를 잘 포착하고 있음을 시사한다.
• 이 방법은 더 빠른 추론과 더 높은 정확도를 동시에 달성하여 실시간 또는 대규모 연소 시뮬레이션에 적합하다.