[논문 리뷰] Convergence to minima for the continuous version of Backtracking Gradient Descent

Tuyen Trung Truong|arXiv (Cornell University)|2019. 11. 11.

Sparse and Compressive Sensing Techniques참고 문헌 20인용 수 11

한 줄 요약

이 논문은 $ C^1 $ 함수에 대해 국소 리프시츠 조건을 만족하는 그라디언트를 가진 연속적 백트래킹 그래디언트 디센트에 대해 최소점으로의 수렴을 확립한다. 일반적으로 거의 모든 초기점(레베그 측도가 0인 집합을 제외한)이 일반화된 안장점에서 멀어짐을 증명한다. 이 방법은 충분한 감소를 보장하고 임계점으로 수렴하는 적응형 스텝 사이즈 $ h(x) \in (0, \delta_0] $를 사용하며, 미세한 정규성 조건 하에서 최소점으로의 수렴이 보장된다.

ABSTRACT

The main result of this paper is: {\bf Theorem.} Let $f:\mathbb{R}^k ightarrow \mathbb{R}$ be a $C^{1}$ function, so that $ abla f$ is locally Lipschitz continuous. Assume moreover that $f$ is $C^2$ near its generalised saddle points. Fix real numbers $δ_0>0$ and $0

연구 동기 및 목표

• 일반적인 $ C^1 $ 함수에 대해 국소 리프시츠 그라디언트를 가진 연속적 백트래킹 그래디언트 디센트에 대한 이론적 수렴 보장을 확립하는 것.
• 이전 연구에서 요구한 더 강한 미분 조건(예: $ C^{2,1}_L $)과 고정된 작은 스텝 사이즈를 필요로 하지 않는 바탕으로, 거의 모든 초기점에서 일반화된 안장점을 피하는 것을 보여주는 것.
• 표준 그래디언트 디센트를 넘어서 스무스하고 적응형 스텝 사이즈 함수 $ h(x) $를 도입함으로써 충분한 감소와 안정성을 보장하는 수렴 결과를 일반화하는 것.
• 모멘텀 및 NAG 변형을 포함한 기존 백트래킹 GD의 수렴 이론을 더 넓은 함수 클래스에서 통합하고 강화하는 것.
• 딥 러닝에서 훈련 안정성을 위해 최소점으로의 수렴과 안장점 피하기가 핵심이므로, 백트래킹 GD의 사용을 위한 이론적 기반을 제공하는 것.

제안 방법

• 모든 $ x \in \mathbb{R}^k $ 에 대해 $ h(x) \in (0, \delta_0] $ 인 스무스하고 양수인 스텝 사이즈 함수 $ h: \mathbb{R}^k \to (0, \delta_0] $ 를 정의하여, $ H(x) = x - h(x)\nabla f(x) $ 가 충분한 감소를 보장하도록 하는 조건을 만족시키는 것: $ f(H(x)) - f(x) \leq -\alpha h(x)\|\nabla f(x)\|^2 $.
• 그라디언트 $ \nabla f $ 의 연속적이고 국소 리프시츠 조건을 이용해 $ h(x) $ 를 구성함으로써, 전역적인 $ C^{2,1}_L $ 정규성 조건을 요구하지 않고 국소 그라디언트 행동에 적응하는 스텝 사이즈를 확보하는 것.
• 수열 $ x_{n+1} = H(x_n) $ 가 임계점으로 수렴하거나 무한대로 발산하며, 모든 클러스터 포인트가 $ f $ 의 임계점임을 증명하는 것.
• 실 프로젝티브 공간 $ \mathbb{P}^k $ 와 위상수학적 추론을 사용하여, 일반화된 안장점으로 수렴하는 초기점의 집합이 레베그 측도가 0임을 보이는 것.
• 국소 리프시츠 상수가 유계인 경우에 대해 이 결과를 이산적 백트래킹 GD 및 모멘텀, NAG 변형으로 확장하며, 동일한 프레임워크를 통해 적용하는 것.
• 임계점 집합의 구조(최대 가 countable한 수의 점들)를 활용하여, 고립된 안장점이 극한점이 될 수 없도록 수렴을 강화하는 것.

실험 결과

연구 질문

• RQ1 국소 리프시츠 그라디언트를 가진 $ C^1 $ 함수에 대해 연속적 백트래킹 그래디언트 디센트가 일반화된 안장점을 거의 전역적으로 피할 수 있는가?
• RQ2 전역적인 $ C^{2,1}_L $ 또는 강한 볼록성 조건 없이도 적응형 스텝 사이즈 $ h(x) $ 가 충분한 감소와 임계점으로의 수렴을 보장하는가?
• RQ3 이 방법 하에서 안장점으로 수렴하는 초기점들의 측도 이론적 성질은 어떠한가?
• RQ4 이론적 수렴 보장 측면에서 표준 GD 및 울프 조건과 비교해 본다면, 이 방법은 어떠한가?
• RQ5 이 프레임워크를 모멘텀 및 NAG 변형으로 확장할 수 있으며, 안장점 피하기와 최소점으로의 수렴을 유지할 수 있는가?

주요 결과

• 모든 $ C^1 $ 함수 $ f $ 에 대해 국소 리프시츠 그라디언트를 가진다 하더라도, $ h(x) \in (0, \delta_0] $ 인 스무스한 스텝 사이즈 함수 $ h(x) $ 가 존재하여 $ H(x) = x - h(x)\nabla f(x) $ 가 충분한 감소를 보장한다: $ f(H(x)) - f(x) \leq -\alpha h(x)\|\nabla f(x)\|^2 $.
• 수열 $ x_{n+1} = H(x_n) $ 는 임계점으로 수렴하거나 무한대로 발산하며, 모든 클러스터 포인트는 $ f $ 의 임계점이다.
• 레베그 측도가 0인 집합 $ \mathcal{E}_1 \subset \mathbb{R}^k $ 가 존재하여, 모든 $ x_0 \in \mathbb{R}^k \setminus \mathcal{E}_1 $ 에 대해 수열이 수렴한다면, 일반화된 안장점으로 수렴할 수 없다.
• 더 큰 측도가 0인 집합 $ \mathcal{E}_2 $ 가 존재하여, 모든 $ x_0 \in \mathbb{R}^k \setminus \mathcal{E}_2 $ 에 대해 어떤 클러스터 포인트도 고립된 일반화된 안장점일 수 없다.
• 이전 연구보다 더 약한 가정 조건 하에서도 결과가 성립한다: 전역적인 $ C^{2,1}_L $ 가 필요 없으며, 단지 $ C^1 $ 이면서 그라디언트가 국소 리프시츠이면서, 안장점 근처에서만 $ C^2 $ 이면 충분하다. 따라서 전역적인 $ C^{2,1}_L $ 또는 작은 고정 스텝 사이즈가 필요로 하지 않는다.
• 이 프레임워크는 국소 리프시츠 상수가 연속 함수로 유계이면 이산적 백트래킹 GD, 모멘텀, NAG 변형으로 확장 가능하며, 안장점 피하기와 최소점으로의 수렴을 유지한다.