[논문 리뷰] Machine Learning, Deepest Learning: Statistical Data Assimilation Problems

Henry Abarbanel, Paul J. Rozdeba외 1명|arXiv (Cornell University)|2017. 07. 05.

Meteorological Phenomena and Simulations참고 문헌 25인용 수 4

한 줄 요약

이 논문은 기계학습에서의 딥러닝과 물리과학 분야의 통계적 데이터 아문디레이션 사이에 깊은 수학적 동치성을 확립하며, 네트워크의 깊이가 데이터 아문디레이션에서 시간 해상도에 해당함을 보여준다. 이는 학습을 해밀토니안 역학을 통해 원리적으로 정당화하는 연속층 형식의 '가장 깊은 학습(Deepest Learning)'을 도입하며, 후방전파(backpropagation)의 이론적 근거를 제공한다. 이는 심플렉틱 두점경계값문제로 프레임워크화된 학습을 가능하게 하여 고급 수치 해법을 적용할 수 있다.

ABSTRACT

We formulate a strong equivalence between machine learning, artificial intelligence methods and the formulation of statistical data assimilation as used widely in physical and biological sciences. The correspondence is that layer number in the artificial network setting is the analog of time in the data assimilation setting. Within the discussion of this equivalence we show that adding more layers (making the network deeper) is analogous to adding temporal resolution in a data assimilation framework. How one can find a candidate for the global minimum of the cost functions in the machine learning context using a method from data assimilation is discussed. Calculations on simple models from each side of the equivalence are reported. Also discussed is a framework in which the time or layer label is taken to be continuous, providing a differential equation, the Euler-Lagrange equation, which shows that the problem being solved is a two point boundary value problem familiar in the discussion of variational methods. The use of continuous layers is denoted "deepest learning". These problems respect a symplectic symmetry in continuous time/layer phase space. Both Lagrangian versions and Hamiltonian versions of these problems are presented. Their well-studied implementation in a discrete time/layer, while respected the symplectic structure, is addressed. The Hamiltonian version provides a direct rationale for back propagation as a solution method for the canonical momentum.

연구 동기 및 목표

• 물리학 및 생물학 과학 분야의 다층 신경망과 통계적 데이터 아문디레이션 프레임워크 사이의 근본적인 동치성을 확립하는 것.
• 네트워크의 깊이를 증가시킬수록 데이터 아문디레이션에서 시간 해상도가 높아지며, 이는 모델 정확도 향상과 정보 전달 향상에 기여함을 보여주는 것.
• 연속층 형식의 신경망을 제안하는 '가장 깊은 학습(Deepest Learning)'—이것은 심플렉틱 기하학을 지닌 두점경계값문제로 해석될 수 있다.
• 해밀토니안 기반의 수식이 후방전파를 캐논리컬 운동량을 구하는 방법으로 직접 이론적으로 정당화할 수 있음을 보여주는 것.
• 비용 함수의 전역 최소값을 찾는 데 사용할 수 있는 변분 냉각(Variational Annealing) 방법을 제안하는 것—기계학습과 데이터 아문디레이션 모두에 적용 가능하다.

제안 방법

• 기계학습의 비용 함수를 통계적 데이터 아문디레이션 문제로 재구성하며, 이때 층 인덱스는 동역학계에서 시간에 대응한다.
• 이산층 피드포워드 네트워크를 이산시간 동역학계로 매핑하여 상태와 운동량의 위상공간에서 심플렉틱 구조를 유지한다.
• 연속층 근사의 도입으로, 오일러-라그랑주 미분방정식을 유도하며 이는 두점경계값문제를 정의한다.
• 연속층 모델에 대해 해밀토니안 및 라그랑주 수식을 적용하여 기저의 심플렉틱 대칭성과 보존법칙을 드러낸다.
• 행동(작용)의 최소화를 위해 변분 냉각(Variational Annealing, VA)을 적용하며, 정확도 향상을 위해 라플라스 근사법을 보정으로 사용한다.
• 간단한 모델(예: Lorenz96)에서 동치성을 입증하며, 학습 성공 여부는 크기 외에도 데이터의 정보량에 의해 결정됨을 보여준다.

실험 결과

연구 질문

• RQ1 신경망의 깊이가 데이터 아문디레이션 프레임워크에서 시간 해상도와 어떻게 대응되는가?
• RQ2 딥 네트워크의 연속층 근사가 심플렉틱 기하학을 지닌 두점경계값문제로 표현될 수 있는가?
• RQ3 해밀토니안 수식이 캐논리컬 운동량을 구하는 방법으로서 후방전파를 정당화하는 데 어떤 역할을 하는가?
• RQ4 변분 냉각이 비선형적이고 고차원적인 비용 함수의 전역 최소값 탐색을 어떻게 향상시키는가?
• RQ5 데이터의 정보량(크기 외)이 딥 네트워크에서의 학습 성공에 얼마나 기여하는가?

주요 결과

• 딥러닝과 통계적 데이터 아문디레이션 사이에 강력한 수학적 동치성이 확립되었으며, 네트워크의 층 인덱스가 동역학계에서 시간에 대응한다.
• 네트워크의 깊이를 증가시키는 것은 데이터 아문디레이션에서 시간 해상도를 높이는 것과 동치이며, 이는 시스템 역학의 보다 정확한 기록을 가능하게 한다.
• 연속층 형식은 오일러-라그랑주 방정식에 의해 지배되는 두점경계값문제임을 드러낸다.
• 연속 모델의 심플렉틱 기하학은 시간/층을 이산화할 때 수치적 안정성을 보장하며, 물리적 일관성을 유지한다.
• 해밀토니안 수식은 최적화 과정에서 캐논리컬 운동량을 계산하는 데 후방전파를 정당화하는 엄밀한 이론적 기반을 제공한다.
• 변분 냉각과 라플라스 근사 방법은 비용 함수의 전역 최소값을 효과적으로 찾을 수 있으며, 특히 측정 오차 분산이 클 경우에 유용하다.