[논문 리뷰] Enforcing constraints for time series prediction in supervised, unsupervised and reinforcement learning

Panos Stinis|arXiv (Cornell University)|2019. 05. 17.

Model Reduction and Neural Networks참고 문헌 22인용 수 9

한 줄 요약

이 논문은 시간 시리즈 예측을 위한 딥 뉴럴 네트워크 훈련 중에 동역학 시스템 제약 조건—예를 들어 미분 방정식 또는 기억 효과를 갖는 복원력—을 통합하는 통합 프레임워크를 제안한다. 지도 학습, 비지도 학습, 강화 학습 전반에 걸쳐 이러한 제약 조건을 손실 함수, 판별기 입력 또는 보상 함수에 통합하고, 강화 학습에서는 호모토피 기반 훈련 안정화 기법을 사용함으로써 장기 예측 정확도와 일반화 능력이 크게 향상되며, 특히 큰 시간 간격과 노이즈가 많은 데이터에서 두드러진다.

ABSTRACT

We assume that we are given a time series of data from a dynamical system and our task is to learn the flow map of the dynamical system. We present a collection of results on how to enforce constraints coming from the dynamical system in order to accelerate the training of deep neural networks to represent the flow map of the system as well as increase their predictive ability. In particular, we provide ways to enforce constraints during training for all three major modes of learning, namely supervised, unsupervised and reinforcement learning. In general, the dynamic constraints need to include terms which are analogous to memory terms in model reduction formalisms. Such memory terms act as a restoring force which corrects the errors committed by the learned flow map during prediction. For supervised learning, the constraints are added to the objective function. For the case of unsupervised learning, in particular generative adversarial networks, the constraints are introduced by augmenting the input of the discriminator. Finally, for the case of reinforcement learning and in particular actor-critic methods, the constraints are added to the reward function. In addition, for the reinforcement learning case, we present a novel approach based on homotopy of the action-value function in order to stabilize and accelerate training. We use numerical results for the Lorenz system to illustrate the various constructions.

연구 동기 및 목표

• 예측 롤아웃 중 누적 오차로 인해 발생하는 신경망의 장기 예측 성능 열악함 문제 해결.
• 기존 물리적 제약 조건(예: 미분 방정식 등)을 신경망 훈련에 통합하여 일반화 능력과 안정성 향상.
• 제약 조건 강제 적용을 통해 기억 효과를 구현함으로써, 큰 시간 간격이나 희소 관측 조건에서도 정확한 플로우 맵 학습 가능화.
• 행동-가치 함수의 호모토피를 통한 점진적 도입으로 강화 학습의 훈련을 안정화하고 가속화.
• 모든 주요 학습 철학에 걸쳐 도메인 지식을 신경망 최적화에 통합함으로써 과학 계산과 기계 학습 간 다리를 놓기.

제안 방법

• 지도 학습의 경우, 제약 조건을 손실 함수에 정규화 항으로 추가하여 강제 적용.
• 비지도 학습(예: GAN)의 경우, 제약 조건 인식 특징을 판별기 입력에 추가하여 제약 조건 통합.
• 강화 학습(액터-크리틱)의 경우, 정책 학습이 물리적으로 일관된 궤적을 향해 유도되도록 보상 함수에 제약 조건 통합.
• 해결되지 않은 시간 스케일을 고려하기 위해 제약 조건에 명시적 오차 보정 항을 도입하며, 이는 모델 감소에서 메모리 항과 유사하다.
• 강화 학습에서 훈련 중에 제약 조건 강도를 점진적으로 도입하기 위해 호모토피 스케줄 사용으로 수렴성과 안정성 향상.
• 노이즈가 있는 훈련 데이터(궤적 주변의 노이즈 클라우드)와 수정된 제약 조건을 조합하여 예측 오차를 수정하는 복원력을 암묵적으로 인코딩.

실험 결과

연구 질문

• RQ1 시간 시리즈 예측을 위한 딥 러닝 훈련 중에 알려진 동역학 시스템 제약 조건을 효과적으로 어떻게 강제 적용할 수 있는가?
• RQ2 제약 조건 강제 적용이 지도 학습, 비지도 학습, 강화 학습 환경에서 장기 예측 정확도에 어떤 영향을 미치는가?
• RQ3 호모토피 기반 점진적 제약 조건 도입이 액터-크리틱 강화 학습의 훈련 안정성과 성능 향상에 기여하는가?
• RQ4 노이즈가 있는 데이터와 제약 조건 강제 적용을 조합했을 때, 신경망이 훈련 궤적을 초월해 일반화하는 능력은 어떻게 변화하는가?
• RQ5 실제 응용에서 더 큰 시간 간격이나 희소 관측 조건에 대해 제약 조건 강제 모델이 얼마나 잘 일반화되는가?

주요 결과

• 지도 학습에서 제약 조건 강제 적용은 특히 노이즈가 있는 데이터 훈련과 조합했을 때 장기 예측 정확도를 크게 향상시킨다.
• GAN 기반 비지도 학습에서 판별기 입력에 제약 조건 항을 추가하면 더 정확하고 물리적으로 일관된 플로우 맵 학습이 가능해진다.
• 강화 학습에서 행동-가치 함수에 호모토피를 적용하면 안정적이고 정확한 장기 예측이 가능하지만, 호모토피 없이 훈련할 경우 빠른 발산이 발생한다.
• 오차 보정 항을 포함한 명시적 수정 제약 조건(메모리 항과 유사)은 특히 장기 예측에서 표준 제약 조건 강제 적용보다 뛰어난 성능을 보인다.
• 노이즈가 있는 데이터와 제약 조건 강제 적용의 조합은 큰 시간 간격이나 희소 관측 조건에서도 정확도를 유지하는 강력한 플로우 맵을 생성한다.
• 이 프레임워크는 큰 시간 간격에서도 정확한 플로우 맵 학습이 가능하게 하여, 희소 측정이 이루어지는 온라인 또는 자원 제약 환경에서도 적용 가능함을 시사한다.