[논문 리뷰] Comparing recurrent and convolutional neural networks for predicting wave propagation

Stathi Fotiadis, Eduardo Pignatelli외 4명|arXiv (Cornell University)|2020. 02. 20.

Meteorological Phenomena and Simulations참고 문헌 17인용 수 29

한 줄 요약

이 논문은 세인트-베나탕 방정식에 의해 지배되는 표면파 전파를 예측하기 위해 순환(LSTM 기반) 및 컨volutional(U-Net, PredRNN++) 신경망을 비교한다. 컨볼루션 네트워크가 장기 예측에서 순환 모델과 동등한 성능을 달성하면서도 인퍼런스 속도가 훨씬 빠르다는 점을 입증한다—수치적 해법보다 최대 241배 빠르며, 이는 공 inge 및 환경 모델링 분야에서 시공간 PDE 예측을 위한 매우 효율적인 대안이 된다.

ABSTRACT

Dynamical systems can be modelled by partial differential equations and numerical computations are used everywhere in science and engineering. In this work, we investigate the performance of recurrent and convolutional deep neural network architectures to predict the surface waves. The system is governed by the Saint-Venant equations. We improve on the long-term prediction over previous methods while keeping the inference time at a fraction of numerical simulations. We also show that convolutional networks perform at least as well as recurrent networks in this task. Finally, we assess the generalisation capability of each network by extrapolating in longer time-frames and in different physical settings.

연구 동기 및 목표

• 세인트-베나탕 방정식에 의해 지배되는 장기적인 표면파 전파 예측에서 순환 및 컨볼루션 신경망의 성능을 평가하고 비교하는 것.
• 학습 분포 외부로의 일반화 능력을 평가하여, 더 긴 시간 및 다른 물리적 설정으로의 외삽 가능성을 검토하는 것.
• 컨볼루션 아키텍처가 PDE를 포함한 시공간 시퀀스 예측 과제에서 순환 모델의 성능을 따라하거나 뛰어넘을 수 있는지 판단하는 것.
• 컨볼루션 네트워크의 학습된 표현이 탱크 크기나 파동 속도와 같은 물리적으로 의미 있는 정보를 포함하고 있는지 조사하는 것.
• 伝통적 수치적 해법보다 훨씬 빠른 인퍼런스 시간을 제공하는 정확한 딥러닝 대안을 제공하여, 인퍼런스 시간을 수개월 수준으로 단축시키는 것.

제안 방법

• 모의 파동 전파에서 유도된 수면 높이 맵 시퀀스를 기반으로 LSTM(기준), ConvLSTM, PredRNN++, U-Net 네 가지 아키텍처를 훈련시켰다.
• 기본 데이터 생성기로 세인트-베나탕 방정식의 물리적 시뮬레이션을 사용하였으며, 탱크 크기와 초기 조건을 다양하게 설정하였다.
• 조기 정지, 학습률 스케줄링, 가중치 초기화를 포함한 표준 딥러닝 훈련 프로토콜을 적용하였으며, 평균 제곱오차 손실을 사용하였다.
• 잠재 표현을 추출하기 위해 U-Net 인코더 헤드를 사용하고, 5개의 연속 프레임에서 탱크 크기를 예측하도록 미세조정하였다.
• RMSE를 20 및 80단계 예측 수준에서 기반으로 하여, 다양한 모델 간의 인퍼런스 속도 및 예측 정확도를 비교하였다.
• 학습 데이터에 포함되지 않은 탱크 크기 및 파동 역학을 대상으로 한 일반화 성능 평가를 위해 추론 실험을 수행하였다.

실험 결과

연구 질문

• RQ1 세인트-베나탕 방정식에 의해 지배되는 파동 전파에 대해 컨볼루션 신경망이 순환 네트워크와 동등한 장기 예측 정확도를 달성할 수 있는가?
• RQ2 LSTM, ConvLSTM, PredRNN++, U-Net 등의 다양한 딥러닝 아키텍처가 인퍼런스 속도 및 예측 정확도 측면에서 어떻게 비교되는가?
• RQ3 학습 데이터에 포함되지 않은 더 긴 예측 수준 및 탱크 크기 등 다양한 물리적 설정으로의 일반화 능력은 어느 정도인가?
• RQ4 컨볼루션 네트워크의 학습된 표현이 파동 속도나 시스템 크기와 같은 물리적으로 관련된 정보를 포함하고 있는가?
• RQ5 파동 역학을 위한 딥러닝 기반 PDE 해법에서 모델 복잡도, 인퍼런스 속도, 정확도 간의 상호 상충 관계는 어떠한가?

주요 결과

• U-Net과 PredRNN++ 모델이 80단계 예측에서 가장 낮은 RMSE(각각 0.07, 0.09)를 기록하여 기준 LSTM(0.19)보다 유의미하게 뛰어난 성능을 보였다.
• U-Net 모델은 수치 시뮬레이터 대비 241배 빠른 속도를 기록하여, 한 프레임을 2.6ms 내에 처리하는 데에 성공하였고, 시뮬레이터는 630.7ms가 소요되었다.
• 컨볼루션 네트워크(U-Net, PredRNN++)는 장기 예측 정확도에서 순환 모델(LSTM, ConvLSTM)과 동등하거나 이를 초월하였다.
• 미리 훈련된 U-Net 인코더는 평균 오차 0.14로 탱크 크기를 예측할 수 있었으며, 이는 물리적으로 의미 있는 특징을 학습했다는 것을 시사한다. 반면 무작위 인코더는 낮은 성능(오차 2.27)을 보였다.
• U-Net과 PredRNN++는 더 작은 및 더 큰 탱크에 대해 일반화 능력이 제한적이었으며, 기준 더미 회귀모형을 초월하는 오차를 보였고, 이는 물리적 척도 외삽에 실패했다는 것을 시사한다.
• 특징 맵 시각화 결과, U-Net은 공간적으로 국소화된 특징(피크, 트러프, 경계)을 사용하는 반면, PredRNN++는 시간 메모리를 통해 점진적으로 예측을 구성한다.