[논문 리뷰] A Unified Approach to Error Bounds for Structured Convex Optimization Problems

Zirui Zhou, Anthony Man–Cho So|arXiv (Cornell University)|2015. 12. 11.

Sparse and Compressive Sensing Techniques참고 문헌 41인용 수 12

한 줄 요약

이 논문은 매끄럽고 볼록인 함수와 일반적인 닫힘 proper 볼록 함수를 포함하는 구조적 볼록 최적화 문제에서 오차 한계를 설정하기 위한 통합 프레임워크를 제시한다. 집합값 분석 도구를 활용하여, 엄격한 보완성 유형의 정규성 조건 하에서 핵노름 정규화 문제에 대한 새로운 오차 한계를 유도하며, 반례를 통해 이 조건이 필수적임을 증명함으로써 Tseng 가 제기한 오랜 숙제를 해결한다.

ABSTRACT

Error bounds, which refer to inequalities that bound the distance of vectors in a test set to a given set by a residual function, have proven to be extremely useful in analyzing the convergence rates of a host of iterative methods for solving optimization problems. In this paper, we present a new framework for establishing error bounds for a class of structured convex optimization problems, in which the objective function is the sum of a smooth convex function and a general closed proper convex function. Such a class encapsulates not only fairly general constrained minimization problems but also various regularized loss minimization formulations in machine learning, signal processing, and statistics. Using our framework, we show that a number of existing error bound results can be recovered in a unified and transparent manner. To further demonstrate the power of our framework, we apply it to a class of nuclear-norm regularized loss minimization problems and establish a new error bound for this class under a strict complementarity-type regularity condition. We then complement this result by constructing an example to show that the said error bound could fail to hold without the regularity condition. Consequently, we obtain a rather complete answer to a question raised by Tseng. We believe that our approach will find further applications in the study of error bounds for structured convex optimization problems.

연구 동기 및 목표

• 구조적 볼록 최적화 문제에서 매끄럽고 일반적인 볼록 함수를 포함하는 오차 한계를 유도하기 위한 일반적이고 투명한 프레임워크 개발
• 기존의 오차 한계 결과들을 체계적으로 통합하고 재유도하기
• Tseng 가 제기한 핵노름 정규화 문제에서 오차 한계의 정규성 조건이 필수적인지 여부에 대한 핵심 열린 질문 해결
• 핵노름 정규화 손실 최소화 문제에 대해 새로운 오차 한계를 확립함으로써 프레임워크의 능력을 입증하기
• 반례를 통해 정규성 조건이 오차 한계가 성립하기 위해 필수적임을 보여주기

제안 방법

• 프레임워크는 최적해 집합의 구조와 잔차 함수의 구조를 분석하기 위해 집합값 분석 도구를 사용한다.
• 최적성 불가능성을 측정하기 위해 프록시맵 기반의 잔차 함수를 도입하며, 이는 $ R(x) = \text{prox}_P(x - \nabla f(x)) - x $ 로 정의된다.
• 레벨 세트에 속하고 해 집합 근처에 있는 $ x $ 에 대해 $ d(x, \mathcal{X}) \leq \kappa \|R(x)\|_2 $ 형태의 오차 한계를 수립한다.
• 이 프레임워크를 핵노름 정규화 문제에 적용하여, 엄격한 보완성 유형의 정규성 조건이 오차 한계에 충분함을 규명한다.
• 이 조건이 필수적임을 입증하기 위해, 조건이 위반될 경우 오차 한계가 실패하는 반례를 구성한다.
• 행렬 수축 연산자와 SVD 기반 분석을 사용하여 반례에서 잔차 함수를 명시적으로 계산한다.

실험 결과

연구 질문

• RQ1 매끄럽고 일반적인 볼록 함수를 포함하는 구조적 볼록 최적화 문제에 대해 오차 한계를 유도하기 위한 통합 프레임워크를 개발할 수 있는가?
• RQ2 핵노름 정규화 문제에서 오차 한계 $ d(x, \mathcal{X}) \leq \kappa \|R(x)\|_2 $ 가 성립하는 조건은 무엇인가?
• RQ3 핵노름 정규화 문제에서 오차 한계가 성립하기 위해 엄격한 보완성 유형의 정규성 조건이 필수적인가?
• RQ4 이 프레임워크는 기존의 오차 한계 결과들을 투명한 방식으로 재구성하고 통합할 수 있는가?
• RQ5 정규성 조건이 실패할 경우 오차 한계는 어떻게 되는가?

주요 결과

• 제안된 프레임워크는 기존 오차 한계 결과들을 투명하고 체계적인 방식으로 재구성하고 통합하는 데 성공한다.
• 엄격한 보완성 유형의 정규성 조건 하에서 핵노름 정규화 손실 최소화 문제에 대해 새로운 오차 한계를 확립한다.
• 레벨 세트에 속하고 해 집합 근처에 있는 $ x $ 에 대해 $ d(x, \mathcal{X}) \leq \kappa \|R(x)\|_2 $ 를 만족하는 상수 $ \kappa > 0 $ 가 존재한다.
• 반례가 구성되었으며, 여기서 $ \|R(x^k)\|_F = o(d(x^k, \mathcal{X})) $ 를 만족함으로써 정규성 조건이 없이 오차 한계가 실패함을 보여준다.
• 반례는 정규성 조건이 오차 한계가 성립하기 위해 유일하게 충분한 것이 아니라 필수적임을 확인하며, Tseng 의 질문에 완전한 답을 제시한다.
• 프레임워크가 강력하고 일반화 가능함을 입증하였으며, 다른 비다각형 정규화자에의 응용 가능성이 있다.