[논문 리뷰] Some convergent results for Backtracking Gradient Descent method on Banach spaces

Tuyen Trung Truong|arXiv (Cornell University)|2020. 01. 16.

Stochastic Gradient Optimization Techniques참고 문헌 8인용 수 8

한 줄 요약

이 논문은 반사적 바나흐 공간으로의 백트래킹 경사하강법 수렴 보장을 확장하며, 조건 C와 $C^2$ 정규성 하에서 알고리즘이 일반적으로 안장점에서 회피되고 약한 수렴을 통해 임계점을 햖향함을 증명한다. 핵심 결과는 일반적인 초기점과 하이퍼파rameter에 대해, 무한차원 설정에서도 안장점에서 수렴이 일어나지 않음을 보장한다는 것이다.

ABSTRACT

Our main result concerns the following condition: {\bf Condition C.} Let $X$ be a Banach space. A $C^1$ function $f:X ightarrow \mathbb{R}$ satisfies Condition C if whenever $\{x_n\}$ weakly converges to $x$ and $\lim _{n ightarrow\infty}|| abla f(x_n)||=0$, then $ abla f(x)=0$. We assume that there is given a canonical isomorphism between $X$ and its dual $X^*$, for example when $X$ is a Hilbert space. {\bf Theorem.} Let $X$ be a reflexive, complete Banach space and $f:X ightarrow \mathbb{R}$ be a $C^2$ function which satisfies Condition C. Moreover, we assume that for every bounded set $S\subset X$, then $\sup _{x\in S}|| abla ^2f(x)||

연구 동기 및 목표

• 유한차원 유클리드 공간에서의 백트래킹 경사하강법 수렴 결과를 무한차원 반사적 바나흐 공간으로 일반화하기.
• 무한차원 설정에서 백트래킹 GD 방법이 안장점을 회피할 수 있는 조건을 확립하기.
• 유한차원에서의 르베그 측도를 대체하여 바나흐 공간에서 '일반적 수렴'(셔 집합을 통한 형식화)의 개념을 정의하기.
• 백트래킹 GD의 이론적 보장을 $C^2$ 및 볼록 함수를 포함한 더 넓은 함수 클래스로 확장하여 무한차원 공간에 적용하기.
• 비 힐버트 바나흐 공간에서 연속적이고 잘 정의된 갱신 규칙을 보장하는 이중성 사상의 역할 분석하기.

제안 방법

• 조건 C 도입: 수열 $\{x_n\}$ 이 $x$로 약하게 수렴하고 $||\nabla f(x_n)|| \to 0$ 이면 $\nabla f(x) = 0$ 이 되며, 이는 임계점으로의 약한 수렴을 보장한다.
• 적응적 스텝 사이즈 $\delta(x_n)$ 를 $\{\beta^n \delta_0\}$ 에서 선택하며, $\delta < \alpha / L(x)$ 와 $\delta ||\nabla f(x)|| < r(x)$ 를 만족시킨다.
• 무한차원에서 컴actness가 없기 때문에 강한 수렴을 대체하기 위해 약한 수렴을 사용하며, 약한 수렴점으로의 수렴을 고려한다.
• 안장점 회피 분석을 위해 바나흐 공간에서의 안정-중앙다양체 정리 활용하며, 일반성의 개념에 '셔'의 개념을 기반으로 한다.
• 반사적이고 국소적으로 균일하게 볼록으로 재노름화된 $X$ 에 대해, 정규화된 이중성 사상 $J: X^* \to X$ 를 사용하여 연속적인 갱신 규칙 $x \mapsto x - \delta(x) J(\nabla f(x))$ 를 정의한다.
• 바나흐 공간에서의 '셔' 집합 개념([5]에서 유래)을 활용하여, 안장점 이외의 점으로의 수렴의 일반성을 정량화하며, 유한차원에서의 르베그 측도를 대체한다.

실험 결과

연구 질문

• RQ1 미묘한 정규성 조건 하에서, 무한차원 바나흐 공간에서의 백트래킹 경사하강법이 안장점을 회피할 수 있는가?
• RQ2 반사적 바나흐 공간에서, 백트래킹 GD가 생성하는 수열이 어떤 조건에서 임계점으로 약하게 수렴하는가?
• RQ3 르베그 측도가 존재하지 않는 무한차원 바나흐 공간에서 '일반적' 수렴의 개념을 어떻게 형식화할 수 있는가?
• RQ4 정규화된 이중성 사상은 비 힐버트 바나흐 공간에서 백트래킹 GD의 연속적이고 잘 정의된 갱신 규칙을 보장하는 데 어떤 역할을 하는가?
• RQ5 백트래킹 GD의 수렴성 및 안장점 회피 성질은 조건 C를 만족하는 바나흐 공간 상의 $C^2$ 함수로 확장될 수 있는가?

주요 결과

• 함수 $f$ 가 $C^2$ 이고 조건 C를 만족하면, 백트래킹 GD 수열 $\{x_n\}$ 의 모든 약한 수렴점은 $f$ 의 임계점이다.
• $f(x_n) \to -\infty$ 이거나 $||x_{n+1} - x_n|| \to 0$ 이며, 이는 반복점들이 함수 값에서 발산하거나 스텝 크기가 임의로 작아지는 것을 의미한다.
• 임계점 집합 $\mathcal{C}$ 가 유계 연결 성분 $A$ 를 가지며, 수열 $\{x_n\}$ 이 $A$ 내부의 수렴점을 가지면, 모든 수렴점은 $A$ 내부에 있으며, 수렴점 집합은 연결되어 있다.
• 최대 가산 개의 안장점만을 가진 함수에 대해, 안장점에서 수렴하는 초기점 $x_0$ 와 하이퍼파rameter $\alpha, \beta, \delta_0$ 의 집합은 '셔' 집합이며, 이는 바나흐 공간 측도 이론에서의 일반성 의미를 가진다.
• 공간 $X$ 가 분리 가능할 경우, 동일한 안장점 회피 성질이 약한 수렴 하에서도 성립하며, 예외 집합은 바나흐 공간 의미에서 '셔' 집합이다.
• 정규화된 이중성 사상의 사용은 반사적 바나흐 공간에서 갱신 규칙 $x \mapsto x - \delta(x) J(\nabla f(x))$ 가 연속적이고 잘 정의됨을 보장하며, 이는 이론적 결과를 비 힐버트 공간으로 확장할 수 있도록 한다.