[논문 리뷰] DR-RNN: A deep residual recurrent neural network for model reduction

J. Nagoor Kani, Ahmed H. Elsheikh|arXiv (Cornell University)|2017. 09. 04.

Model Reduction and Neural Networks참고 문헌 19인용 수 71

한 줄 요약

이 논문은 DR-RNN을 제안한다, 비선형 미분방정식의 이산화된 잔차를 최소화하는 심층 잔차 순환 신경망이며, 효율적인 차수 축소를 위해 POD/DEIM과 통합되어 비선형 ODE/PDE의 차수 축소를 가능하게 한다.

ABSTRACT

We introduce a deep residual recurrent neural network (DR-RNN) as an efficient model reduction technique for nonlinear dynamical systems. The developed DR-RNN is inspired by the iterative steps of line search methods in finding the residual minimiser of numerically discretized differential equations. We formulate this iterative scheme as stacked recurrent neural network (RNN) embedded with the dynamical structure of the emulated differential equations. Numerical examples demonstrate that DR-RNN can effectively emulate the full order models of nonlinear physical systems with a significantly lower number of parameters in comparison to standard RNN architectures. Further, we combined DR-RNN with Proper Orthogonal Decomposition (POD) for model reduction of time dependent partial differential equations. The presented numerical results show the stability of proposed DR-RNN as an explicit reduced order technique. We also show significant gains in accuracy by increasing the depth of proposed DR-RNN similar to other applications of deep learning.

연구 동기 및 목표

• 비선형 동적 시스템의 모델 축소를 통해 빠른 설계, 최적화 및 불확실성 정량화를 가능하게 한다.
• 잔차를 최소화하기 위해 미분방정식의 이산화된 해를 잔차로 결정하는 반복적 선 탐색에 영감을 받은 물리 인식 DR-RNN 아키텍처를 개발한다.
• 시간적 모델 축소 능력을 분석하고 표준 RNN/LSTM 아키텍처와의 비교를 수행한다.
• DR-RNN을 POD/DEIM과 결합하여 시간 의존적 PDE에 대한 명시적 축소 차수 모델을 얻는다.

제안 방법

• DR-RNN을 암시적 시간 통합으로부터의 잔차를 반복적으로 최소화하는 계층적 잔차 네트워크로 정식화한다(식 (19)).
• 계층 업데이트를 y^(k+1) = y^(k) - w ∘ φ_h(U r^(k+1)) for k=1, 그리고 y^(k+1) = y^(k) - (η_k / sqrt(G_k+ε)) r^(k+1) for k>1로 정의하며, 잔차 r^(k+1)는 현재 추정값에서 계산한다(식 (20)).
• 활성화로 tanh를 사용하고 안정성을 위해 rmsprop와 유사한 업데이트를 적용한다(식 (21)–(23)).
• U를 항등으로 두고 W를 항등으로 유지하며 w와 η_k만 학습한다; 출력은 y_t+1^(RNN) = W^T y_t+1^K 이다(식 (22)).
• DR-RNN을 POD-Galerkin 및 POD-DEIM과 결합하여 차원이 서로 다른 지표의 명시적 축소 차수 모델을 얻고 계산 복잡도를 감소시킨다(섹션 2–4의 논의).
• DR-RNN을 표준 RNN/LSTM 기반의 기준선과 비교하여 시간 모델 축소 과제에서 정확성과 매개변수 수를 평가한다(섹션 5.1).

실험 결과

연구 질문

• RQ1 DR-RNN이 일반적인 RNN보다 훨씬 적은 매개변수로 전체 차수의 비선형 동적 시스템을 정확히 모방할 수 있는가?
• RQ2 잔차 층을 쌓는 것이 큰 시간 간격의 명시적 차수 축 모델의 안정성 및 정확성을 향상시키는가?
• RQ3 DR-RNN가 비슷한 상태 차원에서 RNN 및 LSTM 아키텍처와 비교했을 때 시간 모델 축소자로서의 성능은 어떠한가?
• RQ4 DR-RNN을 POD/DEIM과 효과적으로 결합하여 시간 의존 PDE에 대한 효율적 투사 기반 차수 축소 모델을 형성할 수 있는가?
• RQ5 DR-RNN의 깊이를 증가시키면 테스트 문제에서 정확도와 안정성에 어떤 영향을 주는가?

주요 결과

모델	d	학습 mse	테스트 mse
RNN_n	33	23·10^{-2}	23·10^{-2}
RNN_10n	84	15·10^{-2}	15·10^{-2}
LSTM_n	1093	21·10^{-2}	21·10^{-2}
LSTM_10n	4053	21·10^{-2}	14·10^{-2}
DR-RNN_1	3	2·10^{-3}	5·10^{-3}
DR-RNN_2	4	4·10^{-5}	4·10^{-6}
DR-RNN_4	6	4·10^{-6}	4·10^{-6}

• DR-RNN은 표준 RNN/LSTM에 비해 매개변수 수가 훨씬 적으면서도 테스트된 시간 축소 과제에서 정확도에서 동등하거나 향상된 성능을 보인다.
• 잔차 층(K=2 또는 4)을 갖춘 DR-RNN은 문제 1에서 RNN/LSTM보다 더 나은 적합을 제공하며 학습 데이터 및 테스트 데이터에서 훨씬 작은 MSE를 보인다.
• DR-RNN은 더 큰 시간 간격에서도 작동 가능하며, 명시적 차수 축 방법으로서의 안정성을 보인다.
• POD/DEIM과 함께 사용할 때 DR-RNN은 비선형 ODE의 경우 시간 단계당 O(n^3)에서 O(n^2)으로 계산 비용을 감소시키고, 차수 축 모델의 경우 기준을 r로 두면 O(r^2)으로 더 감소시킨다.
• DR-RNN의 깊이를 늘리면 정확도가 향상되며 더 깊은 버전들(DR-RNN_4 등)이 샘플 문제에서 최상의 성능을 보인다.
• 비교 결과 표(Table 1)는 DR-RNN 변형이 보고된 문제 1에서 전통적인 RNN/LSTM 기준선보다 낮은 MSE를 달성하고 매개변수 수를 크게 감소시킨 것을 보여준다.