[논문 리뷰] Oracle Complexity of Single-Loop Switching Subgradient Methods for Non-Smooth Weakly Convex Functional Constrained Optimization

Yankun Huang, Qihang Lin|arXiv (Cornell University)|2023. 01. 30.

Advanced Optimization Algorithms Research인용 수 4

한 줄 요약

이 논문은 비미분 가능하고 약간 볼록인 함수 제약 조건이 있는 최적화 문제에 대해 단일 루프 스위칭 서브그래디언트 방법(Single-loop Switching Subgradient Method, SSG)에 대한 첫 번째 오라클 복잡도 분석을 수립한다. 새로운 적응형 스텝사이즈 규칙을 도입하여 고정 스텝사이즈와 폴리악 유형 스텝사이즈를 결합함으로써 근사 타당성을 유지하고 $\epsilon$-정류점으로의 수렴을 보장함으로써, 이는 $O(1/\epsilon^4)$의 복잡도를 달성하며, 이는 双루프 방법과 동일한 성능를 보인다.

ABSTRACT

We consider a non-convex constrained optimization problem, where the objective function is weakly convex and the constraint function is either convex or weakly convex. To solve this problem, we consider the classical switching subgradient method, which is an intuitive and easily implementable first-order method whose oracle complexity was only known for convex problems. This paper provides the first analysis on the oracle complexity of the switching subgradient method for finding a nearly stationary point of non-convex problems. Our results are derived separately for convex and weakly convex constraints. Compared to existing approaches, especially the double-loop methods, the switching gradient method can be applied to non-smooth problems and achieves the same complexity using only a single loop, which saves the effort on tuning the number of inner iterations.

연구 동기 및 목표

• 비미분 가능하고 약간 볼록인 제약 조건이 있는 최적화 문제에 대해 단일 루프 1차 방법의 이론적 이해 격차를 메우기 위해.
• 목적 함수와 제약 조건 함수가 모두 약간 볼록하고 비미분 가능할 때, 고전적인 스위칭 서브그래디언트 방법(SSG)의 오라클 복잡도를 분석하기 위해.
• 내부 루프 조정이 필요 없이 근사 타당성과 $\epsilon$-정류점으로의 수렴을 보장하는 스텝사이즈 규칙을 개발하기 위해.
• 단일 루프 SSG가 더 간단하게 구현될 수 있음에도 불구하고, 최신 이중 루프 방법과 동일한 $O(1/\epsilon^4)$의 복잡도를 달성함을 보여주기 위해.
• 공정 분류 문제에 대해 실용적 문제에 적용하여 검증하기 위해, 특히 민족적 배경 평등성 제약 조건이 있는 경우에 대해.

제안 방법

• 목적 함수와 제약 조건 함수의 서브그래디언트를 교차적으로 사용하는 새로운 적응형 스텝사이즈 규칙을 도입한 스위칭 서브그래디언트 방법을 제안한다.
• 목적 함수의 서브그래디언트를 업데이트할 때는 고정 스텝사이즈를 사용하고, 제약 조건의 서브그래디언트를 업데이트할 때는 적응형 폴리악 유형 스텝사이즈를 사용한다.
• 불타당성 제어와 수렴 보장을 위해 제약 함수에 대한 局소 오차 유계 조건(local error bound condition)을 도입한다.
• 각 반복에서 제약 위반 정도를 기반으로 한 스위칭 기준을 사용하여, 반복마다 어느 서브그래디언트를 사용할지 동적으로 결정한다.
• 두 가지 설정에서 분석을 수행한다: 제약 조건이 볼록인 경우와 적절한 제약 조건 충족 조건이 있는 약간 볼록인 경우.
• 부록에서 확률적 설정으로의 확장을 다루며, 유사한 복잡도 한계가 유지됨을 보여준다.

실험 결과

연구 질문

• RQ1 스위칭 서브그래디언트 방법이 비미분 가능하고 약간 볼록한 제약 조건이 있는 최적화 문제에서 $O(1/\epsilon^4)$의 오라클 복잡도를 달성할 수 있는가?
• RQ2 제안된 적응형 스텝사이즈 규칙이 내부 루프 조정 없이도 근사 타당성을 보장하고 $\epsilon$-정류점으로의 수렴을 보장하는가?
• RQ3 비미분 가능하고 비볼록 설정에서 단일 루프 SSG의 복잡도는 기존의 이중 루프 방법과 어떻게 비교되는가?
• RQ4 SSG 방법이 어떤 조건에서 근사 타당성을 유지하고, 타당하지 않은 정류점에 갇히는 것을 피할 수 있는가?
• RQ5 이 방법은 민족적 배경 평등성 제약 조건이 있는 공정 분류와 같은 실용적 문제에 적용될 수 있는가?

주요 결과

• 제약 함수가 볼록일 경우, 스위칭 서브그래디언트 방법은 $\epsilon$-정류점을 찾기 위해 $O(1/\epsilon^4)$의 오라클 복잡도를 달성한다.
• 제약 함수가 약간 볼록일 경우, 제약 조건 충족 조건이 성립한다면 동일한 $O(1/\epsilon^4)$의 복잡도가 달성된다.
• 고정 스텝사이즈로 목적 함수 업데이트를, 폴리악 유형 스텝사이즈로 제약 조건 업데이트를 수행하는 적응형 스텝사이즈 규칙은 근사 타당성을 보장하고 수렴을 가능하게 한다.
• 이 방법은 이중 루프 방법과 달리 내부 루프 반복 수 조정이 필요 없어 실무에서 더 쉽게 구현할 수 있다.
• 수치적 결과는 SSG 방법이 수렴 속도와 타당성 측면에서 이중 루프 방법과 유사하게 성능를 보이며, 반복당 효율성이 더 높다는 것을 확인한다.
• 민족적 배경 평등성 제약 조건이 있는 실세계 문제, 예를 들어 공정 분류 문제에 대해서도 이 방법이 적용 가능하며, 이는 가정 조건을 충족하기 때문이다.