[논문 리뷰] Deterministic Nonsmooth Nonconvex Optimization

Michael I. Jordan, Guy Kornowski외 3명|arXiv (Cornell University)|2023. 02. 16.

Stochastic Gradient Optimization Techniques인용 수 4

한 줄 요약

이 논문은 비연속 비볼록 최적화에서 결정론적 알고리즘이 차원에 종속되지 않는 복잡도를 달성할 수 있는지에 대한 열린 문제를 해결하며, 임의의 결정론적 1차 알고리즘에 대해 $\Omega(d)$의 하한을 증명함으로써 랜덤화가 필요하다는 것을 보이고 있다. 또한 결정론적 환경에서 유한 시간 수렴을 위해 제로오더 오라클 접근이 필수적임을 규명하고, ReLU 네트워크를 위한 새로운 화이트박스 결정론적 스무딩 기법을 제안하여 차원에 종속되지 않는 최적화를 가능하게 하며, 실질적으로 하한을 회피한다.

ABSTRACT

We study the complexity of optimizing nonsmooth nonconvex Lipschitz functions by producing $(δ,ε)$-stationary points. Several recent works have presented randomized algorithms that produce such points using $ ilde O(δ^{-1}ε^{-3})$ first-order oracle calls, independent of the dimension $d$. It has been an open problem as to whether a similar result can be obtained via a deterministic algorithm. We resolve this open problem, showing that randomization is necessary to obtain a dimension-free rate. In particular, we prove a lower bound of $Ω(d)$ for any deterministic algorithm. Moreover, we show that unlike smooth or convex optimization, access to function values is required for any deterministic algorithm to halt within any finite time. On the other hand, we prove that if the function is even slightly smooth, then the dimension-free rate of $ ilde O(δ^{-1}ε^{-3})$ can be obtained by a deterministic algorithm with merely a logarithmic dependence on the smoothness parameter. Motivated by these findings, we turn to study the complexity of deterministically smoothing Lipschitz functions. Though there are efficient black-box randomized smoothings, we start by showing that no such deterministic procedure can smooth functions in a meaningful manner, resolving an open question. We then bypass this impossibility result for the structured case of ReLU neural networks. To that end, in a practical white-box setting in which the optimizer is granted access to the network's architecture, we propose a simple, dimension-free, deterministic smoothing that provably preserves $(δ,ε)$-stationary points. Our method applies to a variety of architectures of arbitrary depth, including ResNets and ConvNets. Combined with our algorithm, this yields the first deterministic dimension-free algorithm for optimizing ReLU networks, circumventing our lower bound.

연구 동기 및 목표

• 비연속 비볼록 리프시츠 함수 최적화에서 결정론적 알고리즘이 차원에 종속되지 않는 복잡도를 달성할 수 있는지 확인하는 것.
• 이 유형의 문제에 대해 결정론적 알고리즘에서 랜덤화의 필요성과 제로오더 오라클 접근의 역할을 조사하는 것.
• $(\delta,\epsilon)$-골드스타인 정류점과 함께 유지를 보장하고 차원에 종속되지 않는 최적화를 가능하게 하는 ReLU 신경망을 위한 결정론적 스무딩 방법을 개발하는 것.
• 리프시츠 함수에 대해 효율적인 결정론적 블랙박스 스무딩 기법이 존재하는지 여부를 해결하는 것.

제안 방법

• 임의의 결정론적 1차 알고리즘에 대해 차원에 종속적인 하한 $\Omega(d)$를 증명함으로써, 차원에 종속되지 않는 속도를 달성하기 위해 랜덤화가 필요하다는 것을 보여준다.
• 함수 값 접근(제로오더 오라클)이 없는 한, 기울기 오라클만을 사용하는 결정론적 알고리즘은 $(\delta,\epsilon)$-골드스타인 정류점으로의 유한 시간 수렴을 보장할 수 없음을 규명한다.
• 아키텍처 지식을 활용하여 화이트박스 환경에서 ReLU 네트워크를 위한 결정론적 스무딩 절차를 도입하며, $(\delta,\epsilon)$-골드스타인 정류점의 유지성을 보장한다.
• 일반 리프시츠 함수에 대해 의미 있는 보장을 제공할 수 없는 효율적인 블랙박스 결정론적 스무딩이 존재하지 않음을 증명함으로써 스무딩의 복잡도를 분석한다.
• 제안된 결정론적 스무딩을 略으로 매끄러운 함수에 대해 차원에 종속되지 않는 알고리즘과 조합함으로써, $\widetilde{O}(\delta^{-1}\epsilon^{-3})$의 오라클 복잡도를 달성하며, 스무딩 매개변수에 대해 로그적 의존성을 보인다.
• 귀납적 분석과 하위기울기 노름 및 이웃 영역 반경에 대한 재귀적 경계를 사용하여, 제안된 스무딩 하에서 수렴 보장을 확립한다.

실험 결과

연구 질문

• RQ1 결정론적 비연속 비볼록 최적화에서 차원에 종속되지 않는 속도를 달성하는 것은 가능한가?
• RQ2 제로오더 오라클의 사용이 이 문제에 대해 결정론적 알고리즘의 유한 시간 수렴을 가능하게 하는가?
• RQ3 결정론적 블랙박스 스무딩 절차가 일반 리프시츠 함수를 의미 있게 스무딩할 수 있는가?
• RQ4 아키텍처 지식을 활용하여 ReLU 신경망에 대해 결정론적이고 차원에 종속되지 않는 알고리즘을 구성할 수 있는가?
• RQ5 결정론적 최적화에서 비연속 비볼록 함수의 스무딩과 차원 종속성 사이의 상충 관계는 무엇인가?

주요 결과

• $(\delta,\epsilon)$-골드스타인 정류점에 도달하기 위한 임의의 결정론적 1차 알고리즘은 최소 $\Omega(d)$의 오라클 호출을 피할 수 없으며, 이는 차원에 종속되지 않는 복잡도를 달성하기 위해 랜덤화가 필요하다는 것을 증명한다.
• 함수 값 접근(제로오더 오라클)이 없이선 결정론적 알고리즘이 $(\delta,\epsilon)$-골드스타인 정류점으로의 유한 시간 수렴을 보장할 수 없으며, 이는 제로오더 오라클의 필요성을 규명한다.
• 약간 매끄러운 함수에 대해 결정론적 알고리즘이 최적의 차원에 종속되지 않는 속도 $\widetilde{O}(\delta^{-1}\epsilon^{-3})$를 달성하며, 스무딩 매개변수에 대해 로그적 의존성을 보인다.
• 일반 리프시츠 함수를 의미 있게 스무딩할 수 있는 효율적인 결정론적 블랙박스 스무딩 절차는 존재하지 않으며, 이는 문헌에서 열려 있던 문제를 해결한다.
• 깊이가 임의인 ReLU 네트워크(ResNet 및 ConvNet 포함)에 대해, $(\delta,\epsilon)$-골드스타인 정류점의 유지성을 보장하는 새로운 화이트박스 결정론적 스무딩 기법을 제안한다.
• 제안된 화이트박스 스무딩을 약간 매끄러운 알고리즘과 조합함으로써, ReLU 네트워크 최적화를 위한 첫 번째 결정론적이고 차원에 종속되지 않는 알고리즘을 도출하며, 일반적인 하한을 회피한다.