[논문 리뷰] Methods of Nonconvex Optimization

V. S. Mikhalevich, A. M. Gupal외 1명|arXiv (Cornell University)|2024. 06. 14.

Advanced Optimization Algorithms Research인용 수 40

한 줄 요약

유한 차원 비볼록 비매끄러운 최적화에 대한 포괄적 개요로, 일반화 가능한 미분가능 함수와 비볼록 설정에 확장된 서브그래디언 기법을 포함한 수치 방법을 도입하며, 확률적·무작위 접근법을 포함한다.

ABSTRACT

This book is devoted to finite-dimensional problems of non-convex non-smooth optimization and numerical methods for their solution. The problem of nonconvexity is studied in the book on two main models of nonconvex dependencies: these are the so-called generalized differentiable functions and locally Lipschitz functions. Non-smooth functions naturally arise in various applications. In addition, they often appear in the theory of extremal problems itself due to the operations of taking the maximum and minimum, decomposition techniques, exact non-smooth penalties, and duality. The considered models of nonconvexity are quite general and cover the majority of practically important optimization problems; they clearly show all the difficulties of non-convex optimization. The method of studying the generalized differentiable functions is that for these functions a generalization of the concept of gradient is introduced, a calculus is constructed, and various properties of nonconvex problems are studied in terms of generalized gradients. As for numerical methods, it is possible to extend the theory and algorithms of subgradient descent of convex optimization to problems with generalized differentiable functions. Methods for solving Lipschitz problems are characterized by the fact that the original functions are approximated by smoothed ones and iterative minimization procedures are applied to them. With this approach, it is possible to approximate the gradients of smoothed functions by stochastic finite differences and thus to construct methods without calculating gradients. A similar approach can be justified in generalized differentiable and Lipschitz stochastic programming. In these cases, various generalizations of the classical stochastic approximation and stochastic quasi-gradient method are obtained for solving constrained nonconvex nonsmooth stochastic programming problems.

연구 동기 및 목표

• 유한 차원에서의 비볼록 비매끄러운 최적화 연구를 동기 부여하고 형식화한다.
• 비볼록 분석과 계산의 폭넓은 프레임워크로 일반화 가능 미분가능 함수들을 도입한다.
• 경사 기반 기법을 비볼록 비매끄러운 문제로 확장하는 수치 방법을 개발하고 조사한다.

제안 방법

• 일반화 가능 미분가능 함수와 일반화 그래디언트(가상그래디언트)를 f(y)=f(x)+<g,y−x>+o(x,y,g) 확장과 함께 정의한다.
• 일반화 그래디언트에 대한 국소 리프시츠 연속성 및 미적 규칙을 보여준다. 체인 규칙과 최대/최소 연산 등을 포함하여.
• 무명시적(명시적) 그래디언트가 필요하지 않은 유한차 근사 및 확률적 그래디언트 방법을, 무작위 방향 및 평균화 전략을 통해 개발한다.
• 제약과 이완 스킴이 있는 비볼록 비매끄러운 문제에 그래디언트 하강 유형의 방법을 확장한다.
• 비볼록 최적화 알고리즘을 구성하고 분석하기 위해 스무딩 기법과 이완 개념을 도입한다.
• 리프시츠 및 일반화 가능 미분가능 함수에 대한 확률적 일반화 그래디언트 및 평균화 절차를 포함한 확률적 확장을 탐구한다.

실험 결과

연구 질문

• RQ1 그라디언트를 일반화하는 통합 프레임워크 내에서 비볼록 비매끄러운 최적화를 어떻게 연구할 수 있는가?
• RQ2 정확한 그래디언트를 필요로 하지 않으면서 일반화 가능 미분가능 함수를 최소화할 수 있는 수치 방법은 무엇인가?
• RQ3 확률적이고 무작위 기법들이 비볼록 최적화 알고리즘을 불확실한 환경으로 어떻게 확장하는가?
• RQ4 제약이 있는 비볼록 맥락에서 일반화 그래디언트 방법이 수렴하는 조건은 무엇인가?
• RQ5 전역 최적화의 측면을 국소 일반화 그래디언트 방법과 어떻게 통합할 수 있는가?

주요 결과

• 일반화 가능 미분가능 함수는 연속적으로 미분가능한 함수, 볼록 함수, 그리고 반 매끄러운 함수 등을 포함하는 넓고 국소적으로 리프시츠한 프레임워크를 제공한다.
• 일반화 그래디언트(가상그래디언트) 미적은 비볼록 비매끄러운 문제에 대해 고전적 그래디언트와 유사한 전개와 수렴 분석을 가능하게 한다.
• 무작위 유한차 방향은 일반화 그래디언트를 근사하고 명시적 그래디언트 계산 없이 정지점으로 이끈다.
• 평균화 및 비단조 하강 방향(heavy-ball 및 gully-step)은 비볼록 환경에서 안티-구일리 효과를 낳고 수렴 거동을 개선한다.
• 이완, 스무딩, 페널티 기반 방법은 비볼록 비매끄러운 최적화를 제약 문제로 확장한다.
• 확률적 일반화 그래디언트와 평균화 기법은 확률적 및 리프시츠 최적화 문제에 대한 수렴 프레임워크를 제공한다.