[논문 리뷰] Modeling Oceanic Variables with Dynamic Graph Neural Networks

Caio F. D. Netto, Marcel R. de Barros외 9명|arXiv (Cornell University)|2022. 06. 25.

Bayesian Modeling and Causal Inference인용 수 5

한 줄 요약

이 논문은 산타스-상비센테-베르티오가 해안유역에서 해류 속도와 해수면 고도와 같은 해양 변수를 예측하기 위해 시간적(LSTM/Transformer) 및 공간적(그래프) 인덕티브 바이어스를 통합한 동적 그래프 신경망(DGN)을 제안한다. 이 모델은 물리기반의 산타스 운영 예보 시스템(SOFS)보다 해류 속도 예측에서 27%, 해류 방향 예측에서 14% 높은 성능을 보이며, 도메인 지식이 최소화되고 누락된 데이터에 대해 강건한 성능을 입증한다.

ABSTRACT

Researchers typically resort to numerical methods to understand and predict ocean dynamics, a key task in mastering environmental phenomena. Such methods may not be suitable in scenarios where the topographic map is complex, knowledge about the underlying processes is incomplete, or the application is time critical. On the other hand, if ocean dynamics are observed, they can be exploited by recent machine learning methods. In this paper we describe a data-driven method to predict environmental variables such as current velocity and sea surface height in the region of Santos-Sao Vicente-Bertioga Estuarine System in the southeastern coast of Brazil. Our model exploits both temporal and spatial inductive biases by joining state-of-the-art sequence models (LSTM and Transformers) and relational models (Graph Neural Networks) in an end-to-end framework that learns both the temporal features and the spatial relationship shared among observation sites. We compare our results with the Santos Operational Forecasting System (SOFS). Experiments show that better results are attained by our model, while maintaining flexibility and little domain knowledge dependency.

연구 동기 및 목표

• 관측 데이터가 불완전하거나 노이즈가 많은 복잡한 해안 지역에서 해양 변수를 예측하는 데 도전하는 것.
• 관측 지점 간의 시간적 동적 변화와 공간적 관계를 활용하는 데이터 기반의 시공간 모델을 개발하는 것.
• 계산 비용이 높고 지형 및 경계 조건 데이터가 상세히 필요로 하는 전통적인 물리기반 해양 모델의 한계를 극복하는 것.
• 기계학습 모델이 도메인 특화 지식에 의존도가 낮고 유연성을 유지하면서도 물리기반 기준 모델을 초월하는 정확도를 달성할 수 있음을 입증하는 것.
• 데이터가 부족하거나 지형이 복잡한 지역에서 항만 운영 및 환경 리스크 관리에 실용적으로 적용 가능한 고정확도 해양 예보 시스템을 구현하는 것.

제안 방법

• 노드가 공간적 관측 지점, 간선이 공간적 관계를 표현하는 동적 시간 그래프(DTDG)를 구축하며, 노드 특징은 시간에 따라 변화한다.
• 각 지점의 다변량 시간 시리즈에서 시간적 표현을 추출하기 위해 순차적 인코더(LSTM 또는 Transformer)를 사용한다.
• 그래프 신경망(GNN)을 적용하여 시간적 특징을 공간적으로 연결된 노드 간에 전파하고 집계함으로써 장거리 의존성을 포착한다.
• 주요 지표인 해류 속도, 방향 및 해수면 고도에 대한 윌모트 지수(IoA)를 최적화하는 시공간 손실 함수를 사용해 종합적인 모델을 훈련시킨다.
• 다양한 그래프 구조(완전히 분리된 구조, 동일 유형 간선, 완전 연결 구조)와 순차적 인코더(LSTM 대비 Transformer)를 평가하여 최적의 구성 요건을 규명한다.
• 예측에 7일 간의 입력 윈도우를 사용하며, 산타스-상비센테-베르티오가 해안유역의 검증되지 않은 테스트 데이터에서 모델 추론를 수행한다.

실험 결과

연구 질문

• RQ1 시간적 및 공간적 인덕티브 바이어스를 결합한 데이터 기반 모델이 실제 해안 환경에서 물리기반 해양 예보 시스템을 능가할 수 있는가?
• RQ2 그래프 구조 선택(예: 완전 연결 대비 동일 변수 간 연결)이 해양 변수 예측 성능에 어떤 영향을 미치는가?
• RQ3 다른 순차적 인코더(LSTM 대비 Transformer)는 다변량 해양 시간 시리즈 예측 정확도를 어느 정도 향상시키는가?
• RQ4 실제 해양 관측 센서 네트워크에서 흔히 발생하는 누락된 데이터 및 노이즈가 있는 관측치에 대해 제안된 모델은 얼마나 강건한가?
• RQ5 GNN 기반 아키텍처가 먼 거리에 있는 관측 지점 간의 공간적 관계를 효과적으로 학습하고 활용하여 국지적 예측을 향상시킬 수 있는가?

주요 결과

• 제안된 DGN 모델은 SOFS 물리기반 모델 대비 해류 속도 예측에서 27% 향상되고, 해류 방향 예측에서 14% 향상되었다.
• Transformer 인코더와 완전 연결 그래프 구조를 사용할 경우, 해류 속도에 대한 일치 지수(IoA)는 0.842, 해류 방향에 대해서는 0.860을 기록하였다.
• 해수면 고도(SSH) 예측에 대해서도 강력한 성능 유지를 보였으며, Transformer 인코더를 사용할 경우 IoA는 0.939, LSTM를 사용할 경우 0.940을 기록하였다.
• 완전 연결 그래프 구조가 모든 지표에서 가장 우수한 성능을 보였으며, 완전히 분리된 구조 및 동일 유형 연결 구조보다 뛰어난 성능을 보였다.
• 모든 예측 시나리오에서 Transformer 기반 인코더가 LSTM 인코더를 일관되게 능가했으며, 특히 복잡한 시간적 패턴을 포착하는 데 뛰어난 성능을 보였다.
• 모델은 누락된 데이터에 대해 강건성을 유지하며, 공간적으로 분리된 노드 간에 정보를 효과적으로 공유하여 관측이 불완전한 상황에서도 정확한 국지적 예측을 가능하게 하였다.