[논문 리뷰] RoeNets: Predicting Discontinuity of Hyperbolic Systems from Continuous Data

Shiying Xiong, Xingzhe He외 3명|arXiv (Cornell University)|2020. 06. 07.

Model Reduction and Neural Networks참고 문헌 35인용 수 5

한 줄 요약

RoeNets는 초순수한 연속 학습 데이터에서 비선형 보존법칙(HCLs)의 불연속성을 예측하기 위해 신경망 아키텍처 내에서 로에 근사 리만 해법을 재구성한 딥러닝 프레임워크를 소개한다. 가상역행렬 기반 파rameterization을 통해 유연한 은닉 차원을 가능하게 함으로써, 전통적인 해법보다 더 높은 정확도와 강건성을 확보하여 난류와 희석파를 소산 없이 정확히 포착한다. 이는 이전에 표준 기계학습 방법으로는 불가능하다고 여겨졌던 매끄러운 초깃값으로부터 장기적인 불연속성을 예측할 수 있음을 보여준다.

ABSTRACT

We introduce Roe Neural Networks (RoeNets) that can predict the discontinuity of the hyperbolic conservation laws (HCLs) based on short-term discontinuous and even continuous training data. Our methodology is inspired by Roe approximate Riemann solver (P. L. Roe, J. Comput. Phys., vol. 43, 1981, pp. 357--372), which is one of the most fundamental HCLs numerical solvers. In order to accurately solve the HCLs, Roe argues the need to construct a Roe matrix that fulfills "Property U", including diagonalizable with real eigenvalues, consistent with the exact Jacobian, and preserving conserved quantities. However, the construction of such matrix cannot be achieved by any general numerical method. Our model made a breakthrough improvement in solving the HCLs by applying Roe solver under a neural network perspective. To enhance the expressiveness of our model, we incorporate pseudoinverses into a novel context to enable a hidden dimension so that we are flexible with the number of parameters. The ability of our model to predict long-term discontinuity from a short window of continuous training data is in general considered impossible using traditional machine learning approaches. We demonstrate that our model can generate highly accurate predictions of evolution of convection without dissipation and the discontinuity of hyperbolic systems from smooth training data.

연구 동기 및 목표

• 짧은 시간 창의 연속 학습 데이터에서 장기적인 불연속성을 예측할 수 있는 기계학습 모델을 개발하는 것. 이는 기존 기계학습 접근 방식으로는 비현실적이라 여겨졌음.
• 클래식한 수치적 방법이 '성질 U'의 엄격한 제약 조건으로 인해 달성할 수 없는 로에 행렬을 구성하는 데서 비롯되는 한계를 극복하는 것.
• 신규한 맥락에서 가상역행렬을 도입함으로써 모델의 표현력을 향상시키고, 신경망 아키텍처 내 은닉 차원을 통한 더 유연한 파arameterization을 가능하게 하는 것.
• 충격파와 같이 비연속적인 해를 포함한 선형 및 비선형 리만 문제를 해결함에 있어 뛰어난 정확도와 강건성을 달성하는 것.
• 해의 구조에 대한 사전 지식 없이도 데이터 기반 모델이 물리적 불연속성을 학습하고 예측할 수 있음을 보여주며, 표준 로에 해법보다 뛰어난 성능을 발휘하는 것.

제안 방법

• 모델은 로에 행렬을 고유값 행렬 Λ와 좌고유벡터 행렬 L로 분해하며, 이들 각각을 별도의 두 개의 신경망을 통해 학습한다.
• 성분의 수를 초월한 표현력을 높이기 위해, 역행렬 L⁻¹ 대신 가상역행렬 L⁺ = (LᵀL)⁻¹Lᵀ를 사용함으로써 은닉 차원을 도입하고 더 큰 파arameter 유연성을 확보한다.
• 아키텍처는 연속 데이터를 기반으로 엔드 투 엔드로 훈련되며, 선형화된 리만 해법 프레임워크를 통해 세포 간 수치적 플럭스를 재구성하는 것을 학습한다.
• 모델은 원래 로에 해법의 물리적 성질을 유지하며, 정확한 자코비안과 양의 보존을 보장하지만, 이를 기반으로 가능한 미분 가능한 신경망에 통합한다.
• 선형 초순수 PDE(1~3개 성분)와 비선형 소드 충격 튜브 문제에서 평가하여 강건성과 정확도를 입증한다.
• 버거스 방정식의 경우, 모델은 오직 매끄러운 초깃값에서만 훈련되며, 후속 시간에 충격 불연속성이 어떻게 발생하는지를 높은 정밀도로 예측한다.

실험 결과

연구 질문

• RQ1 입력 데이터에 불연속성이 전혀 없음에도 불구하고, 신경망이 짧은 시간 창의 연속 학습 데이터에서 초순수 보존법칙의 불연속성을 예측할 수 있는가?
• RQ2 기존 수치적 방법이 실패할 때, '성질 U'(대각화 가능성, 실수 고유값, 일致성, 보존성) 제약 조건을 충족하면서도 로에 행렬을 효과적으로 근사할 수 있는 딥러닝 모델은 가능한가?
• RQ3 신규한 아키텍처 맥락에서 가상역행렬을 사용함으로써, 물리적 성분의 수를 초월한 표현력과 일반화 능력이 향상되는가?
• RQ4 RoeNets는 더 높은 정확도와 더 적은 소산을 통해 충격파와 희석파를 기존 로에 해법보다 뛰어나게 포착할 수 있는가?
• RQ5 매끄러운 데이터에서만 훈련된 데이터 기반 모델이 비선형 PDE(예: 버거스 방정식)에서 충격파와 같은 표준 불연속성의 형성을 예측할 수 있는가?

주요 결과

• RoeNets는 초순수 보존법칙에서 수치적 소산 없이도 불연속성을 유지하는 대류의 진화를 성공적으로 예측한다.
• 1~3개 성분을 가진 일차 선형 초순수 PDE에서 높은 정확도를 달성하며, 충격파와 접촉 불연속성을 포착하는 데서 기존 로에 해법을 능가한다.
• 비선형 소드 충격 튜브 문제에서, RoeNets는 희석파, 접촉 불연속성, 충격파의 세 가지 물리적 특징을 정확히 재현한다.
• 무점성 버거스 방정식 실험에서, RoeNets는 t=0에서의 매끄러운 초깃값으로부터 t=0.3에서 충격파가 형성되는 것을 정확히 예측하며, 고전적 로에 해법과 완벽한 일치를 보인다.
• 모델은 임의의 노이즈에 대해 강건성을 유지하며 여러 테스트 케이스에서 안정성을 확보하여 신뢰할 수 있는 일반화 능력을 보여준다.
• 엄격하게 연속적인 학습 데이터에서 장기적인 불연속성을 예측할 수 있다는 능력은 기존 기계학습 접근 방식으로는 일반적으로 불가능하다고 여겨졌던 바, 이는 중요한 돌파구이다.