[논문 리뷰] Mean-field Langevin System, Optimal Control and Deep Neural Networks

Kaitong Hu, Anna Kazeykina외 1명|arXiv (Cornell University)|2019. 09. 16.

Spectroscopy Techniques in Biomedical and Chemical Research참고 문헌 27인용 수 11

한 줄 요약

이 논문은 최적 제어 문제의 고차원 해법을 위해 불확실성 과정을 활용하여 불변 측도가 최적 제어에 해당하는 평균장 라운젤린 시스템을 제안한다. 미세한 조건 하에 전역 최소화점으로의 수렴을 확립하며, 딥 뉴럴 네트워크에서의 확률적 경사 하강법의 수렴을 정당화하는 연속 시간 알고리즘을 제공한다.

ABSTRACT

In this paper, we study a regularised relaxed optimal control problem and, in particular, we are concerned with the case where the control variable is of large dimension. We introduce a system of mean-field Langevin equations, the invariant measure of which is shown to be the optimal control of the initial problem under mild conditions. Therefore, this system of processes can be viewed as a continuous-time numerical algorithm for computing the optimal control. As an application, this result endorses the solvability of the stochastic gradient descent algorithm for a wide class of deep neural networks.

연구 동기 및 목표

• 비볼록성과 고차원 제어 공간으로 인해 전통적 기울기 기반 방법이 어려움을 겪는 고차원 최적 제어 문제를 해결하는 데 기여한다.
• 볼록성이 필요 없이도 최적 제어를 근사할 수 있는 평균장 라운젤린 동역학에 기반한 연속 시간 확률적 알고리즘을 개발한다.
• 평균장 라운젤린 시스템의 불변 측도와 정규화된 최적 제어 문제의 해 사이의 엄밀한 연결 고리를 확립한다.
• 라운젤린 시스템의 불변 측도와 관련된 훈련 동역학을 통해 딥 뉴럴 네트워크에서의 확률적 경사 하강법의 수렴에 대한 이론적 근거를 제공한다.

제안 방법

• 제어를 시간에 따라 변화하는 확률 측도(법의 흐름)로 표현하는 정규화된 완화된 최적 제어 문제를 수립한다.
• 브라운 운동에 의해 구동되는 평균장 확률미분방정식(SDE) 시스템을 도입하며, 이의 비율 항은 최적 제어 문제의 해밀토니안에서 유도된다.
• 약한 정칙성 및 리프시츠 조건 하에, 평균장 라운젤린 과정의 불변 측도가 원래 문제의 최적 제어에 해당함을 증명한다.
• 결합 기법과 이토-타나카 공식을 사용하여 과정의 수축 성질을 확립하고, 과정의 법이 그 불변 측도로 수렴하도록 보장한다.
• 포커-플랑크-코모고로프 방정식을 적용하여 과정의 법의 진화를 분석하고, 시간별 마진 법 사이의 워샤르스테인 거리에 대한 추정을 유도한다.
• 상대 엔트로피 정규화가 측도 공간에서의 볼록성을 이용하여 비볼록 설정에서도 전역 최소화점으로의 수렴을 보장함을 활용한다.

실험 결과

연구 질문

• RQ1 비볼록성과 고차원성을 지닌 최적 제어 문제에 대해, 그 불변 측도가 원래 문제의 최적 제어를 제공하는 연속 시간 확률 과정을 구성할 수 있는가?
• RQ2 평균장 라운젤린 동역학은 정규화된 최적 제어 문제의 전역 최소화점으로의 수렴을 어떻게 보장하는가?
• RQ3 비율 항과 분산 계수에 어떤 조건이 성립하면 불변 측도의 존재성과 유일성, 그리고 최적 제어로의 수렴이 보장되는가?
• RQ4 이 프레임워크는 딥 뉴럴 네트워크 훈련에서의 확률적 경사 하강법의 경험적 성공을 어느 정도 정당화하는가?
• RQ5 적절한 결합 및 정칙성 가정 하에, 과정의 법이 불변 측도로 수렴하는 정도를 워샤르스테인 거리로 정량화할 수 있는가?

주요 결과

• 계수의 리프시츠 연속성과 유계성 등의 미세한 조건 하에, 평균장 라운젤린 시스템의 불변 측도는 원래 정규화된 최적 제어 문제의 최적 제어로 나타나며, 이를 증명한다.
• 과정의 수렴이 워샤르스테인 거리에서의 수축 추정에 의해 보장되며, 이는 최적 제어를 계산하는 연속 시간 수치 알고리즘을 제공한다.
• 과정의 법이 불변 측도로 수렴하는 수렴 속도는 $\overline{\cal W}^{T}_{1}$ 워샤르스테인 거리를 사용하여 정량화되며, 적절한 조건 하에 지수 감소를 보인다.
• 분석을 통해 연속 기울기 하강 동역학에 의해 제어되는 과정 $\alpha^s$ 는 $\frac{dV^0}{ds} = -\int_0^T |\nabla_a H|^2 dt$ 를 만족함을 확인하였으며, 이는 $V^0$ 이 리아푸노프 함수임을 확인하고, 임계점이 본드리아닌 시스템의 해에 해당함을 의미한다.
• 훈련 동역학이 평균장 라운젤린 과정으로 모델링될 수 있으며, 그 불변 측도가 최적 가중치 분포에 해당함을 보여 이론적으로 딥 뉴럴 네트워크에서의 확률적 경사 하강법의 수렴을 기반으로 한다.
• 논문은 평균장 SDE의 두 해 사이의 워샤르스테인 거리가 로그-소볼레프 유형 조건 하에 시간이 지남에 따라 지수적으로 감소함을 증명하였으며, 이는 분산 계수 $\sigma$ 와 해밀토니안 도함수의 리프시츠 상수에 명시적인 의존성을 보인다.