[논문 리뷰] Meta-Learning Dynamics Forecasting Using Task Inference

Rui Wang, Robin Walters외 1명|arXiv (Cornell University)|2021. 02. 20.

Hydrological Forecasting Using AI참고 문헌 64인용 수 5

한 줄 요약

이 논문은 시간에 불변하는 작업 특징을 인코더를 통해 추론하고, 적응형 인스턴스 정규화와 적응형 패딩을 사용해 포레캐스터를 적응시키는 모델 기반 메타학습 프레임워크인 DyAd를 제안한다. 이는 이질적인 물리 시스템 간의 동역학 예측을 일반화하기 위해 설계되었으며, 재학습 없이도 빠른 추론이 가능하게 하여 난류 흐름, 해수면 온도, 해류 예측에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Current deep learning models for dynamics forecasting struggle with generalization. They can only forecast in a specific domain and fail when applied to systems with different parameters, external forces, or boundary conditions. We propose a model-based meta-learning method called DyAd which can generalize across heterogeneous domains by partitioning them into different tasks. DyAd has two parts: an encoder which infers the time-invariant hidden features of the task with weak supervision, and a forecaster which learns the shared dynamics of the entire domain. The encoder adapts and controls the forecaster during inference using adaptive instance normalization and adaptive padding. Theoretically, we prove that the generalization error of such procedure is related to the task relatedness in the source domain, as well as the domain differences between source and target. Experimentally, we demonstrate that our model outperforms state-of-the-art approaches on both turbulent flow and real-world ocean data forecasting tasks.

연구 동기 및 목표

• 딥 러닝 모델의 동역학 예측에서 일반화 능력이 열 劣하다는 문제를 해결하기 위해, 각 새로운 시스템에 대해 재학습이 필요로 하는 기존 접근 방식을 개선한다.
• 다양한 매개변수, 경계 조건, 외부 힘을 가진 다양한 물리 시스템 간에 제로샷 일반화를 가능하게 한다.
• 레이블이 부여된 지원 세트가 필요 없이 시계열 데이터로부터 작업별 잠재 특징을 추론하는 메타학습 프레임워크를 개발한다.
• 예를 들어 부력, 레이놀즈 수와 같은 약한 감독 신호를 활용하여 시간에 불변하는 시스템 특성의 분리된 표현 학습을 유도한다.
• 소스 도메인 및 예측되지 않은 목표 도메인으로의 도메인 적응에 대한 일반화 오차에 대한 이론적 보장을 제공한다.

제안 방법

• 이 프레임워크는 두 가지 구성 요소로 이루어져 있다: 관측된 시계열 데이터로부터 시간에 불변하는 은닉 특징 $z_c$를 추론하는 인코더 $g$와, $z_c$ 및 과거 상태를 사용해 향후 상태를 예측하는 포레캐스터 $f$이다.
• 인코더는 시간 이동에 불변하는 아키텍처를 사용하며, 세 가지 손실 항목으로 훈련된다: 작업 매개변수 감독($\mathcal{L}_{\text{sup}}$), 시간에 불변하는 특징 손실($\mathcal{L}_{\text{time-inv}}$), 크기 손실($\mathcal{L}_{\text{mag}}$)로, 분리된, 강건한 표현을 보장한다.
• 포레캐스터는 $z_c$에 조건을 부여하기 위해 적응형 인스턴스 정규화(AdaIN)를 사용하여, 네트워크 통계가 다양한 시스템 역학에 따라 동적으로 적응하도록 한다.
• 경계 조건이 다양할 수 있는 상황을 다루기 위해 새로운 적응형 패딩 레이어(AdaPad)를 도입하였으며, $z_c$ 기반으로 패딩 전략을 학습함으로써 예측되지 않은 도메인 이동에 대한 일반화 성능을 향상시켰다.
• 포레캐스터는 다양한 동역학 시스템에 대해 인코더와 함께 엔드 투 엔드로 훈련되지만, 추론은 포레캐스터를 고정하고 테스트 시점에 인코더를 사용해 $z_c$를 추론함으로써 수행된다.
• 쿼리 입력에서 직접 $z_c$를 추론함으로써 재학습 없이도 빠른 추론이 가능하게 하여, 새로운 시스템에 대한 실세계 구현에 적합하다.

실험 결과

연구 질문

• RQ1 부력이나 점성도와 같은 시스템 매개변수가 다를 경우, 재학습 없이도 메타학습 프레임워크가 이질적인 물리적 동역학 간에 일반화할 수 있는가?
• RQ2 예를 들어 알려진 레이놀즈 수나 코리올리력과 같은 약한 감독이 동역학 예측에서 시간에 불변하는 시스템 특징의 분리에 얼마나 효과적인가?
• RQ3 AdaIN 및 AdaPad와 같은 아키텍처 구성 요소가 다양한 동역학 시스템 간의 모델 일반화 및 강건성에 미치는 영향은 어떠한가?
• RQ4 크기 손실 또는 시간에 불변하는 특징 손실과 같은 핵심 훈련 구성 요소를 제거할 경우 성능가 어떻게 저하되는가?
• RQ5 레이블이 부여된 지원 세트 없이도, 인코더가 순수하게 원시 시계열 데이터로부터 작업 정체성을 추론할 수 있는 정도는 어느 정도인가?

주요 결과

• DyAd는 난류 데이터셋에서 미래 예측 수평선에서 RMSE 0.42, 도메인 일반화 벤치마크에서 RMSE 0.51를 기록하여 모든 베이스라인을 압도한다.
• 인코더를 제거한 경우(No_enc) 성능 저하가 발생하지만, ResNet보다도 여전히 뛰어난 성능을 보이며, 예측에서 적응형 정규화와 패딩의 가치를 입증한다.
• 특징 주입에 AdaIN을 사용할 경우 최고의 성능(RMSE 0.42)을 기록하였으며, 연결, 편향 주입, 커널 모odulation과 같은 대안들보다 뚜렷이 뛰어나다.
• 제거 실험 결과, 감독, 시간에 불변하는 특징, 크기 손실 중 어느 하나라도 생략할 경우 성능 저하가 발생함을 확인하였으며, 이는 세 손실 항목이 필수적임을 입증한다.
• 인코더와 포레캐스터를 함께 훈련하는 엔드 투 엔드 학습 방식은 별도의 훈련 방식보다 성능이 열 劣함을 확인하였으며, 이는 도메인 분할과 작업별 특징 학습의 중요성을 입증한다.
• 학습 분포 외의 새로운 작업, 예를 들어 부력 요소 $c = 5, 15, 25$를 가진 유동에 대해서도 효과적으로 일반화되며, 도메인 이동에 대한 강건성을 입증한다.