[논문 리뷰] Can We Find Near-Approximately-Stationary Points of Nonsmooth Nonconvex Functions?

Ohad Shamir|arXiv (Cornell University)|2020. 02. 27.

Stochastic Gradient Optimization Techniques참고 문헌 26인용 수 7

한 줄 요약

이 논문은 블랙박스 알고리즘이 비미분 가능 비볼록 함수의 근사적으로 정적일 수 있는 점을 찾을 수 있는지 조사하며, 심지어 이 완화된 목표조차도 유한 시간 보장 없이 일반적으로 불가능하다는 것을 보여준다. 표준 기울기 기반 방법이 급격한 기울기 변화로 인해 $\epsilon$-정적 점 근처의 점을 신뢰성 있게 찾을 수 없다는 점을 입증함으로써, 비미분 가능 최적화에서의 근본적인 한계를 드러낸다. 비록 정적 정의가 완화되었지만 여전히 비미분 가능 최적화의 기본적 한계가 존재한다.

ABSTRACT

It is well-known that given a bounded, smooth nonconvex function, standard gradient-based methods can find $ε$-stationary points (where the gradient norm is less than $ε$) in $\mathcal{O}(1/ε^2)$ iterations. However, many important nonconvex optimization problems, such as those associated with training modern neural networks, are inherently not smooth, making these results inapplicable. Moreover, as recently pointed out in Zhang et al. [2020], it is generally impossible to provide finite-time guarantees for finding an $ε$-stationary point of nonsmooth functions. Perhaps the most natural relaxation of this is to find points which are near such $ε$-stationary points. In this paper, we show that even this relaxed goal is hard to obtain in general, given only black-box access to the function values and gradients. We also discuss the pros and cons of alternative approaches.

연구 동기 및 목표

• 블랙박스 알고리즘이 비미분 가능 비볼록 함수에 대해 근사적으로 정적일 수 있는 점을 찾을 수 있는지 조사하기.
• 함수 값과 기울기만 이용 가능한 상황에서 $\epsilon$-정적 점 근처의 점을 찾는 데 있어 유한 시간 알고리즘의 실현 가능성을 평가하기.
• 기존의 완화된 정적 정의, 예를 들어 $(\delta,\epsilon)$-정적 정의가 의미 있는 정적 행동을 포착하는 데에 얼마나 유용한지 평가하기.
• 비미분 가능 비볼록 문제에 대해 유한 시간 알고리즘 보장을 가능하게 하는 데에 도움이 될 수 있는 대체 정적 정의를 탐색하기.
• 표준 정적 정의가 기울기의 볼록 hull 행동으로 인해 직관적이거나 실용적인 정적 행동을 반영하지 못할 수 있음을 보여주기.

제안 방법

• 기울기 집합의 행동을 점 주변의 $\delta$-근접 영역에서 볼록 hull을 사용하여 $(\delta,\epsilon)$-정적 정의를 정의함으로써 분석한다.
• 원점이 $(\delta,0)$-정적 점이지만 그 $\delta$-근접 영역 내 모든 기울기의 노름이 최소 1 이상인, $\mathbb{R}^2$ 상에서 정의된 $2\pi$-립시츠이자 미분 가능한 함수의 반례를 구성한다.
• 무작위화된 감소를 사용하여, 특정 조건 하에서 블랙박스 알고리즘이 $\epsilon$-정적 점이 없는 함수와 $\epsilon$-정적 점이 있는 함수를 구분할 수 없음을 보여준다.
• 모든 알고리즘 반복점에서 값이 양수이면서 $7$-립시츠인 함수 $h_{\mathbf{w}}(\mathbf{x})$를 사용하여, $\epsilon$-정적 점은 값이 $-1$임을 증명함으로써, 어떤 점이든 $\epsilon$-정적 점까지의 거리에 하한을 설정한다.
• $(\delta,\epsilon)$-정적 정의는 차원에 영향을 받지 않으며 알고리즘적으로 유용하지만, 실제로 작은 기울기를 가진 점에 가까운지 보장하지 못한다는 점을 반례를 통해 보여준다.
• 모레우-요시다 및 라스리-리온스 정규화와 같은 대체 스무딩 기법을 고려하지만, 일반적인 경우에 이들의 계산이 비효율적임을 지적한다.

실험 결과

연구 질문

• RQ1 블랙박스 알고리즘이 비미분 가능 비볼록 함수의 $\epsilon$-정적 점 근처의 점을 유한 시간 보장으로 찾을 수 있는가?
• RQ2 Zhang 등(2020)에서 제안한 $(\delta,\epsilon)$-정적 정의는 실제로 $\epsilon$-정적 점에 가까운 점을 보장하는 데에 충분한가?
• RQ3 블랙박스 접근 하에서 비미분 가능 비볼록 최적화 문제에 대해 기울기 기반 방법의 근본적 한계는 무엇인가?
• RQ4 기울기의 볼록 hull을 사용하지 않고도 더 나은 알고리즘 보장을 제공할 수 있는 대체 스무딩 또는 정적 정의는 존재하는가?
• RQ5 왜 표준 스무딩 기법들은 비미분 가능 비볼록 함수에서 의미 있는 정적 행동을 유지하지 못하는가?

주요 결과

• 블랙박스 접근을 통해 비미분 가능 비볼록 함수의 $\epsilon$-정적 점 근처의 점을 찾는 데 있어 유한 시간 보장은 일반적으로 불가능하다.
• 이 논문은 원점이 $(\delta,0)$-정적 점이지만 그 $\delta$-근접 영역 내 모든 기울기의 노름이 최소 1 이상인, $\mathbb{R}^2$ 상에서 정의된 정규화된 $2\pi$-립시츠이자 미분 가능한 함수를 구성한다.
• 함수 $h_{\mathbf{w}}$가 모든 반복점에서 $7$-립시츠이자 양수이지만 $\epsilon$-정적 점은 값이 $-1$이므로, 어떤 알고리즘 반복점이든 $\epsilon$-정적 점까지의 거리는 최소 $\frac{1}{7}$ 이상이다.
• $(\delta,\epsilon)$-정적 정의는 차원에 영향을 받지 않으며 알고리즘적으로 유용하지만, 실제로 작은 기울기를 가진 점에 가까운지 보장하지 못한다. 이는 반례를 통해 입증되었다.
• 기대 기울기의 스무딩 함수를 기반으로 한 대체 정의인 $\widetilde{\delta,\epsilon}$-정적 정의 역시 직관에 어긋나는 행동을 배제하지 못한다.
• 유명한 스무딩 방법 중 하나인 라스리-리온스 정규화조차도 일반적인 경우에 효율적으로 계산할 수 없어, 알고리즘 보장에 대한 실용적 활용이 제한된다.