[논문 리뷰] A global dual error bound and its application to the analysis of linearly constrained nonconvex optimization

Jiawei Zhang, Zhi‐Quan Luo|arXiv (Cornell University)|2020. 06. 30.

Sparse and Compressive Sensing Techniques참고 문헌 22인용 수 12

한 줄 요약

이 논문은 선형 제약 조건을 가진 비볼록 최적화 문제에 대해 새로운 분해 기법을 개발하여 전역 이중 오차 한계(global dual error bound)를 도입함으로써, 일阶 원-대안 방법(first-order primal-dual method)이 $\epsilon$-정류해를 찾는 데 최적의 $\mathcal{O}(1/\epsilon^2)$ 반복 복잡도를 달성할 수 있도록 한다. 이 방법은 국소 수렴 가정을 피하고, Slater 조건이나 유계 탇합 해역의 제약 조건과 같은 엄격한 조건을 제거한다.

ABSTRACT

Error bound analysis, which estimates the distance of a point to the solution set of an optimization problem using the optimality residual, is a powerful tool for the analysis of first-order optimization algorithms. In this paper, we use global error bound analysis to study the iteration complexity of a first-order algorithm for a linearly constrained nonconvex minimization problem. we develop a global dual error bound analysis for a regularized version of this nonconvex problem by using a novel ``decomposition'' technique. Equipped with this global dual error bound, we prove that a suitably designed primal-dual first order method can generate an $ε$-stationary solution of the linearly constrained nonconvex minimization problem within $\mathcal{O}(1/ε^2)$ iterations, which is the best known iteration complexity for this class of nonconvex problems.

연구 동기 및 목표

• 일阶 원-대안 방법이 선형 제약 조건이 있는 비볼록 최적화 문제에서 수렴 분석을 다루는 데 도전하는 문제를 해결하기 위해.
• 알 수 없거나 추정하기 어려운 상수에 의존하는 국소 오차 한계의 한계를 극복하기 위해.
• 해결책 집합 근처가 아니더라도 도메인의 모든 점에 대해 성립하는 전역 이중 오차 한계를 수립하기 위해.
• Slater 조건, 엄밀한 보완성, 타당 해역의 컴act성과 같은 제약 조건을 제거하기 위해.
• 선형 제약 조건이 있는 비볼록 문제에서 $\epsilon$-정류해를 찾는 데 최적의 반복 복잡도 $\mathcal{O}(1/\epsilon^2)$ 를 달성하기 위해.

제안 방법

• 전역 오차 한계 분석을 가능하게 하기 위해 원래 비볼록 문제의 정규화된 버전을 도입한다.
• 임의의 점에서 해결책 집합까지의 거리를 추정할 수 있는 전역 이중 오차 한계를 도출하기 위해 새로운 '분해(decomposition)' 기법을 개발한다.
• 진행 상황을 반복 간에 추적하기 위해 잠재 함수 $\phi^t = K(x^t,z^t;y^t) - 2d(y^t,z^t) + 2P(z^t)$ 를 사용한다.
• 카우치-슈바르츠 부등식과 노름 부등식을 적용하여 반복 간 잠재 함수의 감소를 근사한다.
• 오차 한계와 강凸성 유사 항목을 이용해 잠재 함수의 감소 $\phi^t - \phi^{t+1}$ 에 하한을 설정한다.
• 수렴과 최적 복잡도를 보장하기 위해 알고리즘 파라미터 조건(예: $\alpha < \alpha' = c(p - L_f)^2 / (4\sigma_{\max}^2(A))$) 을 유도한다.

실험 결과

연구 질문

• RQ1 국소 가정에 의존하지 않고 선형 제약 조건이 있는 비볼록 최적화 문제에 대해 전역 이중 오차 한계를 수립할 수 있는가?
• RQ2 일阶 원-대안 방법의 반복 복잡도를 비볼록 문제에서 $\mathcal{O}(1/\epsilon^2)$ 로 향상시킬 수 있는가?
• RQ3 Slater 조건, 엄밀한 보완성 또는 타당 해역의 컴팩트성과 같은 제약 조건을 비볼록 수렴 분석에서 제거할 수 있는가?
• RQ4 부드럽게 정규화된 프록시멀 증강 라그랑주 방법의 파라미터를 전역 오차 한계를 통해 명시적으로 계산할 수 있는가?
• RQ5 상수 단계 크기를 사용하는 단일 루프 알고리즘으로 최적 수렴 복잡도를 달성할 수 있는가?

주요 결과

• 새로운 분해 기법을 사용하여 선형 제약 조건이 있는 비볼록 문제의 정규화된 버전에 대해 전역 이중 오차 한계를 수립하였다.
• 이전 연구에서 요구되었던 Slater 조건, 엄밀한 보완성, 타당 해역의 컴팩트성에 대한 필요성을 제거하였다.
• 원-대안 일阶 최적화 방법의 반복 복잡도가 $\mathcal{O}(1/\epsilon^2)$ 임을 증명하였으며, 이는 이 클래스 문제에 대해 알려진 최고의 복잡도와 일치한다.
• 전역 오차 한계는 부드럽게 정규화된 프록시멀 증강 라그랑주 방법에서 알고리즘 파라미터를 명시적으로 계산할 수 있도록 한다.
• 이전 복잡도 상한에 비해 개선된 결과를 얻었으며, [12]에서 제시된 볼록 제약 조건이 있는 비볼록 문제의 $\mathcal{O}(1/\epsilon^{2.5})$ 복잡도에 비해 $1/\sqrt{\epsilon}$ 배만큼 낮다.
• 분석을 통해 상수 단계 크기를 사용하는 단일 루프 알고리즘으로 최적 복잡도를 달성할 수 있으며, 이는 더 높은 복잡도를 가지는 이중 루프 프록시멀 방법을 피할 수 있게 한다.