[논문 리뷰] An interior proximal gradient method for nonconvex optimization

Alberto De Marchi, Andreas Themelis|arXiv (Cornell University)|2022. 08. 01.

Sparse and Compressive Sensing Techniques참고 문헌 43인용 수 6

한 줄 요약

이 논문은 부드러운 부등식 제약 조건을 가진 비볼록 최적화를 위한 새로운 내부 점 프락시멀 경사하강법을 제안한다. 이 알고리즘은 내부 점 방법과 프락시멀 경사하강 방법을 결합하여 비연속 목표 함수와 복잡한 제약 조건을 동시에 처리한다. 알고리즘은 엄밀한 타당성 있는 반복 해를 유지하고 온전한 수렴성을 보장하며, 스텝 크기 수열의 상한을 고려할 필요 없이 이전의 비볼록 프락시멀 방법보다 더 약한 조건 하에서도 전역 수렴을 달성한다.

ABSTRACT

We consider structured minimization problems subject to smooth inequality constraints and present a flexible algorithm that combines interior point (IP) and proximal gradient schemes. While traditional IP methods cannot cope with nonsmooth objective functions and proximal algorithms cannot handle complicated constraints, their combined usage is shown to successfully compensate the respective shortcomings. We provide a theoretical characterization of the algorithm and its asymptotic properties, deriving convergence results for fully nonconvex problems, thus bridging the gap with previous works that successfully addressed the convex case. Our interior proximal gradient algorithm benefits from warm starting, generates strictly feasible iterates with decreasing objective value, and returns after finitely many iterations a primal-dual pair approximately satisfying suitable optimality conditions. As a byproduct of our analysis of proximal gradient iterations we demonstrate that a slight refinement of traditional backtracking techniques waives the need for upper bounding the stepsize sequence, as required in existing results for the nonconvex setting.

연구 동기 및 목표

• 비볼록 최적화의 격차를 메우기 위해 내부 점 방법과 프락시멀 경사하강 방법을 융합하여 비연속 목표 함수와 복잡한 제약 조건을 처리한다.
• 기존 내부 점 방법의 한계(비연속 함수에 적용 불가)와 프락시멀 알고리즘의 한계(복잡한 제약 조건 처리 부족)를 극복한다.
• 엄밀한 타당성을 유지하면서 목적 함수 값이 단조 감소하는 반복 해를 생성할 수 있는 웜스타트 가능한 알고리즘을 개발한다.
• 비볼록 함수 f, g, c를 포함한 완전히 비볼록 문제에 대해 전역 수렴을 확립한다. 이는 이전 연구가 볼록 설정으로 국한된 것을 확장한다.
• 비볼록 환경에서 스텝 크기 수열의 상한을 제거할 수 있도록 프락시멀 경사하강 반복의 분석을 정교화한다.

제안 방법

• 내부 점 프레임워크와 프락시멀 경사하강 하위문제 해법을 통합하여, 로그 보조 함수를 사용해 부등식 제약 조건을 부드럽게 처리한다.
• 보조 하위문제를 부드럽고 미분 가능한 항(보조 함수)과 프락시멀에 유리한, 비가역적일 수 있는 항(g)의 합으로 공식화함으로써 프락시멀 경사하강 단계를 가능하게 한다.
• 스텝 크기 수열의 상한이 필요 없는 개선된 스텝 크기 규칙을 사용한 백트랙킹 선 탐색을 적용한다.
• 각 외부 반복에서 반복 해를 타당 영역 내부로 투영함으로써 엄밀한 타당성을 확보한다.
• 이중 레벨 반복 구조를 사용한다: 외부 IP 반복에서 보조 함수의 파arameter를 갱신하고, 프락시멀 경사하강 단계를 통해 하위문제를 해결한다.
• 유한한 반복 후에 근사적인 최적성 조건(KKT)을 만족하는 원-대안 쌍을 유지한다.

실험 결과

연구 질문

• RQ1 내부 점 방법이 비연속적이고 비볼록 목표 함수를 효과적으로 처리하면서도 수렴성과 타당성을 유지할 수 있는가?
• RQ2 프락시멀 경사하강 방법은 페널티나 증강 라그랑주 해석에 의존하지 않고 복잡한 부등식 제약 조건을 어떻게 다룰 수 있는가?
• RQ3 비볼록 프락시멀 경사하강 방법에서 수렴을 위해 스텝 크기 수열에 어떤 조건이 필요하며, 상한 조건을 제거할 수 있는가?
• RQ4 내부 점 방법과 프락시멀 경사하강 방법의 조합은 부드러운 제약 조건을 가진 비볼록 문제에 대해 웜스타트 가능한 전역 수렴 알고리즘을 제공할 수 있는가?
• RQ5 문제 크기와 정확도 허용 오차는 제안된 알고리즘의 계산 비용에 어떤 영향을 미치는가?

주요 결과

• 제안된 알고리즘은 목적 함수 값이 단조 감소하고 엄밀한 타당성을 유지하는 반복 해를 생성하며, 유한한 반복 후 근사 KKT 점으로 수렴한다.
• 이 방법은 비볼록 함수 f, g, c를 포함한 완전히 비볼록 문제에 대해 전역 수렴을 달성하며, 이는 이전 연구가 볼록 설정으로 국한된 것을 확장한다.
• 백트랙킹 선 탐색의 개선이 스텝 크기 수열의 상한이 필요 없음을 보여주며, 기존 비볼록 프락시멀 경사하강 수렴 결과에서 요구되는 조건을 제거한다.
• 수치 실험 결과, 더 엄격한 허용 오차와 더 큰 문제 크기일수록 계산 비용이 크게 증가하며, 이는 1차 방법의 전형적인 느린 꼬리 수렴과 일치한다.
• 알고리즘은 n = 10에서 n = 1000까지의 문제 크기에서 확장 가능성을 보이며, 정확도 요구 수준이 높아질수록 기울기 평가 횟수가 증가하는 경향을 보인다.
• 점 흐트림도표와 누적분포함수는 문제 차원과 허용 오차 수준이 기울기 평가 횟수에 강력한 영향을 미친다는 것을 확인한다.