[논문 리뷰] Conservative set valued fields, automatic differentiation, stochastic gradient method and deep learning

Jérôme Bolte, Edouard Pauwels|arXiv (Cornell University)|2019. 09. 23.

Stochastic Gradient Optimization Techniques참고 문헌 48인용 수 5

한 줄 요약

이 논문은 비연속, 비볼록 최적화를 위한 일반화된 도함수 프레임워크로 보존(set-valued) 필드를 소개한다. 이는 딥러닝에서 자동 미분과 확률적 경사하강법의 엄밀한 분석을 가능하게 하며, ReLU 네트워크에서 역전파(backpropagation)가 보존 필드를 유도함을 증명한다. 이는 정의 가능한 구조적 가정 하에 미니배치 SGD가 임계점으로 수렴함을 보장한다.

ABSTRACT

Modern problems in AI or in numerical analysis require nonsmooth approaches with a flexible calculus. We introduce generalized derivatives called conservative fields for which we develop a calculus and provide representation formulas. Functions having a conservative field are called path differentiable: convex, concave, Clarke regular and any semialgebraic Lipschitz continuous functions are path differentiable. Using Whitney stratification techniques for semialgebraic and definable sets, our model provides variational formulas for nonsmooth automatic differentiation oracles, as for instance the famous backpropagation algorithm in deep learning. Our differential model is applied to establish the convergence in values of nonsmooth stochastic gradient methods as they are implemented in practice.

연구 동기 및 목표

• 비볼록 및 클락-레귤러 클래스를 초월하는 비연속 함수를 위한 일반화된 미적분학을 개발하기 위해.
• 특히 ReLU와 같은 조각별 스무스 활성화 함수에 대해 자동 미분 오라클의 이론적 기초를 제공하기 위해.
• 비연속, 비볼록 환경에서의 미니배치 확률적 경사하강법의 수렴 보장을 수립하기 위해.
• 딥러닝의 알고리즘적 실천(예: 역전파)을 o-미니멀 및 준대수기하 집합과 같은 기하학적·모델이론적 구조와 연결하기 위해.
• 변분해석학, 분할 이론, 수치 알고리즘을 하나의 프레임워크로 통합하여 인공지능 및 수치해석에 응용하기 위해.

제안 방법

• 모든 닫힌 절차적 연속 곡선 γ에 대해 ∫₀¹⟨D(γ(t)), γ̇(t)⟩dt = {0} 를 만족하는 보존 집합-값 필드를 제안한다.
• 보존 필드를 갖는 함수로는 볼록, 볼록성, 클락-레귤러, 준대수기하 립시츠 함수를 포함한 경로 미분 가능 함수를 정의한다.
• 위트니 분할과 o-미니멀 구조를 적용하여 보존 필드의 변분 공식을 유도하며, 모어-사르드 및 라조시에비치 부등식을 일반화한다.
• 정의 가능한 가정 하에 자동 미분 오라클(예: 역전파)이 보존 필드를 생성함을 증명한다.
• 벤아임-호프바우어-소린의 라플라스 접근법을 응용하여 이산 확률적 동역학의 수렴성을 분석한다.
• 미니배치 SGD에 프레임워크를 적용하기 위해 개별 구성 요소 필드의 평균으로 보존 필드를 구성한다: D_f = (1/n)∑D_{f_i}.

실험 결과

연구 질문

• RQ1 AI 및 수치해석에서 비연속, 비볼록 문제를 다룰 수 있는 일반화된 도함수 개념을 개발할 수 있는가?
• RQ2 특히 ReLU 네트워크에서 자동 미분가 보존 도함수를 통해 어떻게 엄밀하게 정당화할 수 있는가?
• RQ3 비연속, 비볼록 환경에서의 미니배치 확률적 경사하강법이 수렴하기 위한 조건은 무엇인가?
• RQ4 정의 가능한 및 준대수기하 구조는 비연속 최적화 알고리즘의 수렴을 보장하는 데 어떤 역할을 하는가?
• RQ5 보존 필드를 사용하여 고전적 수렴 결과(예: 라조시에비치 부등식)를 비연속, 분할된 환경으로 일반화할 수 있는가?

주요 결과

• 제곱 손실을 가진 ReLU 네트워크에서의 역전파는 보존 필드를 생성하며, 이는 알고리즘의 동역학이 보존 객체에 의해 지배됨을 보장한다.
• 준대수기하 또는 정의 가능한 네트워크에서는, 역전파를 사용하는 미니배치 확률적 경사하강법이 손실 함수의 BP_J-임계점 집합으로 확률 1로 수렴한다.
• 클락 부분미분은 최소 볼록 보존 필드이며, 보존 필드는 거의 어디서나 고전적 기울기와 일치한다.
• 정의 가능한 설정에서는 위트니 분해 기반의 변분 분할 공식을 통해 보존 필드가 존재하며, 기하학적 및 동역학적 분석이 가능하다.
• 이 프레임워크는 비연속 쿠르다카-라조시에비치 부등식과 모어-사르드 정리를 정의 가능한 보존 필드로 일반화한다.
• 최적화 방법을 먼저 선택한 후, 자동 미분과 정의 가능성 가정을 통해 보존 필드를 매칭함으로써, ADAM 및 무거운 공중량 운동 알고리즘을 포함한 다양한 알고리즘에 대한 수렴 분석이 가능해진다.