[논문 리뷰] Oracle Complexity in Nonsmooth Nonconvex Optimization

Guy Kornowski, Ohad Shamir|arXiv (Cornell University)|2021. 04. 14.

Stochastic Gradient Optimization Techniques참고 문헌 34인용 수 6

한 줄 요약

이 논문은 비부드럽고 비볼록 최적화에서 오라클 복잡도를 조사하며, 국소적 정보 접근의 본질적 한계로 인해 근사적인 정류점에 도달하는 것이 본질적으로 비효율적임을 증명한다. 또한 스무딩 기법을 사용할 때 부드러움의 품질과 오라클 복잡도 사이의 상충 관계를 규명하며, 미약한 가정 하에 랜덤화 스무딩이 최적임을 보이며, 오라클 비용이 지수적으로 높아지지 않는 한 차원에 따라 영향을 받는 요소들이 효율성을 제한함을 밝힌다.

ABSTRACT

It is well-known that given a smooth, bounded-from-below, and possibly nonconvex function, standard gradient-based methods can find $ε$-stationary points (with gradient norm less than $ε$) in $\mathcal{O}(1/ε^2)$ iterations. However, many important nonconvex optimization problems, such as those associated with training modern neural networks, are inherently not smooth, making these results inapplicable. In this paper, we study nonsmooth nonconvex optimization from an oracle complexity viewpoint, where the algorithm is assumed to be given access only to local information about the function at various points. We provide two main results: First, we consider the problem of getting near $ε$-stationary points. This is perhaps the most natural relaxation of finding $ε$-stationary points, which is impossible in the nonsmooth nonconvex case. We prove that this relaxed goal cannot be achieved efficiently, for any distance and $ε$ smaller than some constants. Our second result deals with the possibility of tackling nonsmooth nonconvex optimization by reduction to smooth optimization: Namely, applying smooth optimization methods on a smooth approximation of the objective function. For this approach, we prove under a mild assumption an inherent trade-off between oracle complexity and smoothness: On the one hand, smoothing a nonsmooth nonconvex function can be done very efficiently (e.g., by randomized smoothing), but with dimension-dependent factors in the smoothness parameter, which can strongly affect iteration complexity when plugging into standard smooth optimization methods. On the other hand, these dimension factors can be eliminated with suitable smoothing methods, but only by making the oracle complexity of the smoothing process exponentially large.

연구 동기 및 목표

• 국소 오라클 액세스를 사용하여 비부드럽고 비볼록 최적화에서 근사적인 정류점을 찾는 것이 가능한지 분석하기.
• 비부드러운 함수를 스무딩하여 표준 부드러운 최적화 방법을 효율적으로 사용할 수 있는지 조사하기.
• 스무딩 과정에서 부드러움의 품질과 오라클 복잡도 사이의 기본적인 상충 관계를 규명하기.
• 미약한 가정 하에 랜덤화 스무딩이 부드러움과 오라클 비용의 균형을 고려할 때 최적이 되는지 평가하기.
• 최적화 오차와 기울기 최소화가 이룰 수 없는 경우, 표준 정류점 이론 외의 타당한 대안을 식별하기.

제안 방법

• 국소 함수 쿼리가 가능한 블랙박스 최적화를 모델링하기 위해 오라클 복잡도 프레임워크를 사용하며, 클락의 이론에 따라 함수 값과 일반화된 기울기를 액세스할 수 있다고 가정한다.
• 함수가 국소적으로 상수이지만 전반적으로 비상수인 어려운 사례를 구성하여, 근사 정류점 복구의 불가능성을 증명한다.
• 랜덤화 스무딩을 비부드러운 함수를 부드러운 함수로 근사화하는 방법으로 분석하며, 부드러움의 품질과 오라클 비용 사이의 상충 관계를 정량화한다.
• 스무딩된 함수의 기울기 리프시츠 상수에 대한 경계를 유도하며, 오라클 복잡도가 지수적으로 증가하지 않는 한 차원에 따라 영향을 받는 요소들이 나타남을 보여준다.
• 집중 불등식과 확률적 추론을 활용하여 도메인 내 경로를 따라 원래 함수와 스무딩된 함수 사이의 차이를 경계한다.
• 쿼리 거리가 유한하고 이동 불변성을 유지하는 모든 스무딩 방법은 오라클 비용이 지수적으로 높아지지 않는 한 차원에 따라 영향을 받는 스무딩 파라미터를 가져야 한다고 증명한다.

실험 결과

연구 질문

• RQ1 국소 오라클 액세스만을 사용하여 비부드럽고 비볼록 최적화에서 근사적인 정류점을 효율적으로 찾을 수 있는가?
• RQ2 스무딩된 근사치의 부드러움과 그를 구성하는 데 드는 오라클 복잡도 사이에 본질적인 상충 관계가 존재하는가?
• RQ3 미약한 가정 하에 랜덤화 스무딩이 부드러움과 오라클 비용의 균형을 고려할 때 최적이 되는가?
• RQ4 표준 근사 정류점이 비부드러운 경우에 도달할 수 없을 때, 어떤 정류점 개념의 대안이 타당한가?
• RQ5 스무딩에서 차원에 따라 영향을 받는 요소들을 오라클 복잡도가 지수적으로 높아지지 않는 한 제거할 수 있는가?

주요 결과

• 함수가 국소적으로 상수이지만 전반적으로 비상수인 경우가 존재하므로, 최악의 경우 근사 정류점을 효율적으로 찾는 것은 불가능하다. 이는 ε-정류점까지의 거리가 유한하더라도 마찬가지다.
• 차원에 영향을 받는 스무딩 파라미터를 유지하는 모든 스무딩 방법은 지수적으로 높은 오라클 복잡도를 유발하며, 이는 고차원 문제에 대해 실용적이지 않다.
• 랜덤화 스무딩은 부드러움과 오라클 비용 사이의 최적 균형을 달성하며, 다항식 오라클 복잡도를 갖는 차원에 따라 영향을 받는 스무딩 파라미터를 제공한다.
• 스무딩된 함수의 기울기 리프시츠 상수는 O(Lr√(log((M+1)(T+1)))/√d)로 스케일링되며, 오라클 비용이 지수적으로 크지 않은 한 차원에 따라 악화됨을 나타낸다.
• 이 불가능성 결과는 이동 불변성과 유한한 쿼리 거리 등의 미약한 가정 하에서도 성립하므로, 문제의 구조 자체에 내재된 제약임을 시사한다.
• 논문은 (δ,ε)-정류점과 같은 대안적 정류점 개념을 고려할 이론적 근거를 제공하지만, 이러한 정의가 항상 직관적인 정류점 개념과 일치하지는 않을 수 있음을 경고한다.