[논문 리뷰] Multivariate, Multistep Forecasting, Reconstruction and Feature Selection of Ocean Waves via Recurrent and Sequence-to-Sequence Networks

Mohammad Pirhooshyaran, Lawrence Snyder|arXiv (Cornell University)|2019. 06. 01.

Oceanographic and Atmospheric Processes참고 문헌 57인용 수 9

한 줄 요약

이 논문은 다변량, 다단계 예측, 복원 및 특징 선택을 위한 새로운 순서-순서(sequence-to-sequence) 딥러닝 프레임워크를 제안하며, 베이지안 초매개변수 최적화와 엘라스틱넷 정규화를 통합한다. 이 프레임워크는 해양 파랑 특성, 특히 현저한 파고(Hs)와 파랑 에너지 플럭스(P)를 대상으로 한다. 이 방법은 기존 최고 성능(SOTA) 기술보다 빈도 높은 Hs 데이터 복원에서 뛰어난 성능을 보이며, 엘라스틱넷을 통합한 깊이 있는 순환 아키텍처가 특징 선택과 예측 정확도를 향상시킨다는 것을 입증한다. Adam 및 AMSGrad 최적화 알고리즘은 안정적인 최적화 성능을 보였다.

ABSTRACT

This article explores the concepts of ocean wave multivariate multistep forecasting, reconstruction and feature selection. We introduce recurrent neural network frameworks, integrated with Bayesian hyperparameter optimization and Elastic Net methods. We consider both short- and long-term forecasts and reconstruction, for significant wave height and output power of the ocean waves. Sequence-to-sequence neural networks are being developed for the first time to reconstruct the missing characteristics of ocean waves based on information from nearby wave sensors. Our results indicate that the Adam and AMSGrad optimization algorithms are the most robust ones to optimize the sequence-to-sequence network. For the case of significant wave height reconstruction, we compare the proposed methods with alternatives on a well-studied dataset. We show the superiority of the proposed methods considering several error metrics. We design a new case study based on measurement stations along the east coast of the United States and investigate the feature selection concept. Comparisons substantiate the benefit of utilizing Elastic Net. Moreover, case study results indicate that when the number of features is considerable, having deeper structures improves the performance.

연구 동기 및 목표

• 현저한 파고(Hs)와 파랑 에너지 플럭스(P)와 같은 해양 파랑 특성에 대한 다변량, 다단계 예측을 위한 강력한 딥러닝 프레임워크를 개발하는 것.
• 근처 부이오 스테이션의 정보를 활용하여 순서-순서 네트워크를 통해 누락된 파랑 데이터를 복원하는 과제를 해결하는 것.
• 다변량 데이터셋에서 가장 예측 가능한 입력 특징을 식별하기 위해 순환 아키텍처에 엘라스틱넷을 통합하여 특징 선택을 수행하는 것.
• Spearmint 베이지안 최적화를 사용하여 모델 성능을 평가하고 최적화하며, Adam, AMSGrad, RMSProp, SGD와 같은 여러 최적화 알고리즘을 비교하는 것.

제안 방법

• 핵심 아키텍처 두 가지를 제안: 완전 연결층(FCL)이 결합된 단일 또는 다중 레이어의 장기 기억 순환 신경망(LSTM)과 별도의 인코더 및 디코더 LSTM을 갖는 순서-순서(seq2seq) 모델.
• 교사 강제(teacher forcing)와 점진적 냉각(gradual annealing)을 조합한 에포크 스케줄링 학습 기법을 도입하여 시계열 예측에서 학습 안정성과 일반화 성능을 향상시킨다.
• 학습률, L1/L2 정규화, 네트워크 깊이 등의 초매개변수를 최적화하기 위해 가우시안 프로세스 기대 향상(GP-EI)을 사용한 Spearmint 베이지안 최적화를 적용한다.
• 가장 중요한 특징들을 유지하면서 덜 관련성이 있는 입력 특징들을 0에 수렴하도록 압축하기 위해 최종 밀집층에 엘라스틱넷 정규화를 통합한다.
• 예측 및 복원 정확도를 종합적으로 평가하기 위해 RMSE, HUBER, MAAPE 등의 손실 함수를 다수 사용한다.
• 미국 동부 해안선에 위치한 NOAA 부이오에서 수집한 새로 정리된 데이터셋(각 스테이션당 53개 특징)을 활용하여 다변량 회귀 및 특징 선택 실험을 수행한다.

실험 결과

연구 질문

• RQ1 근처 부이오 측정치만을 사용하여 순서-순서 순환 신경망이 현저한 파고(Hs)와 파랑 에너지 플럭스(P)의 누락된 데이터를 효과적으로 복원할 수 있는가?
• RQ2 엘라스틱넷 정규화의 통합이 다변량 해양 파랑 예측에서 특징 선택과 모델 해석 가능성에 어떤 영향을 미치는가?
• RQ3 Adam, AMSGrad, RMSProp, SGD 중 어떤 최적화 알고리즘이 해양 파랑 시계열에 대해 seq2seq 모델의 학습 성능을 가장 안정적이고 정확하게 만들어주는가?
• RQ4 더 깊은 순환 아키텍처(다중 레이어 LSTM)가 단일 레이어 모델 대비 더 나은 예측 및 복원 성능을 보이는가?
• RQ5 근처 부이오의 Hs 데이터만으로 훈련된 모델이 직접 측정치 없이도 목표 스테이션의 Hs를 얼마나 잘 복원할 수 있는가?

주요 결과

• seqtoseq+EN 모델은 Hs 복원에서 가장 뛰어난 전체 성능을 보였으며, RMSE는 0.459m, MAAPE는 0.264로, 랜덤 포레스트를 포함한 모든 베이스라인을 능가했다.
• Adam 및 AMSGrad 최적화 알고리즘이 여러 실험에서 RMSProp 및 SGD보다 뛰어난 강건성과 수렴 안정성을 보였다.
• 다중 레이어 LSTM+FCL 및 seqtoseq 모델은 단일 레이어 버전보다 일관되게 뛰어난 성능을 보였으며, 특히 장기 예측 및 복원 과제에서 두드러졌다.
• 엘라스틱넷 정규화는 seqtoseq+EN의 비제로 특징 수를 58.2개로 줄여 모델의 해석 가능성 향상과 함께 높은 정확도를 유지하는 데 성공했다.
• 근처 부이오의 Hs 데이터만으로도 높은 복원 정확도를 달성하여, Hs 데이터 자체만으로도 목표 스테이션의 Hs를 효과적으로 복원할 수 있음을 시사했다.
• Spearmint를 통한 베이지안 초매개변수 최적화로 최적의 설정을 도출하였으며, seq2seq 네트워크에서 λ1 및 λ2가 [0.001, 0.01] 범위에 있을 때 가장 뛰어난 성능을 보였다.