[논문 리뷰] Differentiable programming and its applications to dynamical systems

Adrián Hernández, José M. Amigó|arXiv (Cornell University)|2019. 12. 17.

Reinforcement Learning in Robotics참고 문헌 49인용 수 6

한 줄 요약

이 논문은 주로 주기적 시스템의 모델링, 예측 및 해석을 향상시키기 위해 딥러닝의 확장으로서 미분 가능 프로그래밍을 소개한다. 이는 주의 메커니즘, 메모리 네트워크, 미분 가능 ODE 해법기와 같은 알고리즘적 구성요소를 종단 간 미분 가능한 모델에 통합함으로써 이루어진다. 자동 미분을 활용함으로써 기존의 RNN 및 LSTM보다 동적 시스템의 모델링, 예측 및 이해 능력을 향상시키며, 특히 관련 시간 단계에 대한 선택적 주의 집중과 물리적 구조를 반영한 효율적 학습을 가능하게 한다.

ABSTRACT

Differentiable programming is the combination of classical neural networks modules with algorithmic ones in an end-to-end differentiable model. These new models, that use automatic differentiation to calculate gradients, have new learning capabilities (reasoning, attention and memory). In this tutorial, aimed at researchers in nonlinear systems with prior knowledge of deep learning, we present this new programming paradigm, describe some of its new features such as attention mechanisms, and highlight the benefits they bring. Then, we analyse the uses and limitations of traditional deep learning models in the modeling and prediction of dynamical systems. Here, a dynamical system is meant to be a set of state variables that evolve in time under general internal and external interactions. Finally, we review the advantages and applications of differentiable programming to dynamical systems.

연구 동기 및 목표

• 복잡한 동적 시스템을 모델링하는 데 있어 전통적인 딥러닝의 한계, 특히 장기간의 시퀀스와 시간에 따라 변화하는 의존성 처리 문제를 해결하기 위해.
• 이해, 기억 및 주의 기능을 갖춘 딥러닝의 확장으로서 미분 가능 프로그래밍을 파라다임으로 도입하기 위해.
• 메모리 네트워크 및 ODE 해법기와 같은 미분 가능 구성요소가 딥러닝 모델에 통합되어 동적 시스템에서 성능 향상을 이룰 수 있음을 보여주기 위해.
• 비선형 시스템 분야의 연구자들이 과학적 모델링 및 시뮬레이션에 미분 가능 프로그래밍 도구를 적용할 수 있는 기초를 제공하기 위해.

제안 방법

• 기존 신경망과 주의, 메모리, ODE 해법기 등의 미분 가능 알고리즘 모듈을 하나의 종단 간 미분 가능한 계산 그래프로 통합한다.
• PyTorch와 같은 프레임워크를 통해 자동 미분을 활용하여 신경 컨트롤러 및 물리 시뮬레이터를 포함한 복잡한 하이브리드 모델의 기울기를 계산한다.
• ODE의 우변이 신경망인 미분 가능 ODE 해법기를 딥러닝 모델에 통합함으로써 시스템 파라미터의 기울기 기반 최적화를 가능하게 한다.
• DiffTaichi 및 다양한 물리 엔진과 같은 미분 가능 물리 모델을 사용하여 알려진 물리 법칙을 학습 아키텍처에 통합한다.
• 메모리 네트워크와 미분 가능 신경 컴퓨터(DNC)를 활용하여 동적 시스템의 이력 데이터를 저장하고 선택적으로 검색한다.
• 자기 주의 메커니즘을 적용하여 예측 과정에서 관련 시간 단계나 입력에 대해 동적으로 집중할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 표준 RNN 및 LSTM과 비교해 복잡한 동적 시스템의 모델링 및 예측을 향상시키기 위해 미분 가능 프로그래밍은 어떻게 기여하는가?
• RQ2 주의 메커니즘과 메모리 네트워크는 딥러닝 모델에서 동적 시스템의 학습 및 해석 가능성에 어떤 방식으로 기여하는가?
• RQ3 미분 가능 ODE 해법기와 물리 모델이 종단 간 학습에 효과적으로 통합될 수 있는가? 이는 샘플 효율성과 일반화 능력을 향상시키는가?
• RQ4 현재의 미분 가능 프로그래밍 모델이 동적 시스템에 적용되었을 때 이론적 및 실용적 한계는 무엇인가?

주요 결과

• 미분 가능 프로그래밍은 주의 및 메모리와 같은 알고리즘적 구성요소를 포함한 하이브리드 모델의 종단 간 학습을 가능하게 하여 더 나은 추론 능력과 선택적 특징 집중을 이끈다.
• 주의 메커니즘은 장기간의 시퀀스에서 표준 RNN이 성능이 저하되는 상황에서도 관련 시간 단계나 입력을 동적으로 식별하고 우선순위를 정함으로써 성능 향상을 이룬다.
• 미분 가능 메모리 네트워크와 DNC는 과거 시스템 상태를 저장하고 검색함으로써 장기 의존성 모델링 능력을 향상시키며, 복잡한 동적 시스템에서 예측 정확도를 높인다.
• 딥러닝 모델에 미분 가능 ODE 해법기를 통합함으로써 시뮬레이터를 통해 역전파를 수행함으로써 물리적 파라미터(예: 트레부체트 설계)의 효율적 최적화가 가능해지며, 근본적인 탐색 방법에 대한 의존도를 감소시킨다.
• DiffTaichi 및 다양한 물리 엔진과 같은 미분 가능 물리 모델은 물리적 구조를 유지하면서 물리적 파라미터 학습이 가능하게 하여 일반화 능력과 설명 가능성 향상에 기여한다.
• 이 프레임워크는 과학 계산 분야에서 잠재력을 보이며, 알려진 물리 법칙을 통합한 데이터 기반 파arametrized, 미분 가능한 아키텍처를 구축함으로써 시뮬레이션과 학습을 가속화할 수 있다.