[논문 리뷰] The restricted strong convexity revisited: Analysis of equivalence to error bound and quadratic growth

Hui Zhang|arXiv (Cornell University)|2015. 11. 05.

Advanced Optimization Algorithms Research참고 문헌 17인용 수 5

한 줄 요약

이 논문은 에클란드의 변분원리를 사용하여 볼록 최적화에서 제한된 강凸성(RSC), 전역 오차 경계(GEB), 이차 성장(QG) 성질 간의 동치성을 확립한다. 이 성질들은 기울기 및 프록시멀 기울기 사상에 의해 확장되며, 기울기 리프시츠 연속성 조건 하에서 동치성이 유지됨을 증명한다. 또한 프록시멀 기울기 방법에 대해 새로운 渐近적 선형 수렴 결과를 유도하며, 다각형 집합 위에서 애핀 조합된 강凸 함수를 최소화하는 문제에 응용한다.

ABSTRACT

The restricted strong convexity is an effective tool for deriving globally linear convergence rates of descent methods in convex minimization. Recently, the global error bound and quadratic growth properties appeared as new competitors. In this paper, with the help of Ekeland's variational principle, we show the equivalence between these three notions. To deal with convex minimization over a closed convex set and structured convex optimization, we propose a group of modified versions and a group of extended versions of these three notions by using gradient mapping and proximal gradient mapping separately, and prove that the equivalence for the modified and extended versions still holds. Based on these equivalence notions, we establish new asymptotically linear convergence results for the proximal gradient method. Finally, we revisit the problem of minimizing the composition of an affine mapping with a strongly convex differentiable function over a polyhedral set, and obtain a strengthened property of the restricted strong convex type under mild assumptions.

연구 동기 및 목표

• 제한된 강凸성(RSC), 전역 오차 경계(GEB), 이차 성장(QG) 성질 간 이론적 동치성을 볼록 최소화 문제에서 확립하기.
• 구조적이고 제약 조건이 있는 볼록 최적화 문제를 위해 기울기 및 프록시멀 기울기 사상으로 이 세 성질을 확장하기.
• 목적 함수가 기울기 리프시츠 연속성 조건을 만족할 때 RSC, GEB, QG 간의 동치성이 유지됨을 보여주기.
• 이 성질들의 동치성에 기반하여 프록시멀 기울기 방법에 대해 새로운 渐近적 선형 수렴 결과를 도출하기.
• 콤���터성 조건 없이 다각형 집합 위에서 애핀 사상과 강凸 미분 가능 함수의 합성 함수를 최소화하는 문제에 대해 RSC 유형 성질을 강화하기.

제안 방법

• 에클란드의 변분원리를 사용하여 비제약 볼록 최적화 문제에서 RSC, GEB, QG 성질 간의 동치성을 증명한다.
• 제약 조건이 있는 및 구조적 볼록 문제를 위해 기울기 사상과 프록시멀 기울기 사상에 기반한 RSC, GEB, QG의 수정 및 확장된 형태를 제안한다.
• 목적 함수가 기울기 리프시츠 연속성을 만족할 경우, 수정 및 확장된 형태 간의 동치성이 유지됨을 증명한다.
• 이 동치성을 적용하여 프록시멀 기울기 방법에 대해 새로운 수렴 결과를 도출하며, 이러한 조건 하에서 渐近적 선형 수렴이 성립함을 보여준다.
• 특정 유형의 문제—다각형 집합 위에서 강凸 미분 가능 함수와 애핀 사상의 합성 함수를 최소화하는 문제—를 분석하여 호프만의 오차 경계와 강凸성 조건을 활용해 강화된 RSC 유형 성질을 도출한다.
• 프록시멀 기울기 사상과 고유값 노름을 포함한 핵심 부등식을 활용하여 함수 성장과 내림값 행동을 제한한다.

실험 결과

연구 질문

• RQ1 볼록 최적화에서 제한된 강凸성, 전역 오차 경계, 이차 성장 성질은 동치인가?
• RQ2 제약 조건이 있거나 구조적 최적화 문제에서 기울기 및 프록시멀 기울기 사상 사용 시 RSC, GEB, QG 간의 동치성이 유지되는가?
• RQ3 목적 함수가 기울기 리프시츠 연속성을 만족할 경우 동치성이 유지되는가?
• RQ4 이러한 동치 성질이 만족될 경우 프록시멀 기울기 방법에 대해 보장할 수 있는 수렴 속도는 무엇인가?
• RQ5 다각형 집합 위에서 애핀 사상과 강凸 함수의 합성 함수를 최소화하는 문제에 대해 강화된 RSC 유형 성질을 도출할 수 있는가?

주요 결과

• 연속성과 미분 가능성 조건 하에서 제한된 강凸성, 전역 오차 경계, 이차 성장 성질은 에클란드의 변분원리를 통해 동치임을 증명하였다.
• 기울기 및 프록시멀 기울기 사상에 기반한 RSC, GEB, QG의 수정 및 확장된 형태는 목적 함수가 기울기 리프시츠 연속성을 만족할 경우 동치성을 유지한다.
• 이 성질들의 동치성에 기반하여 프록시멀 기울기 방법에 대해 새로운 渐近적 선형 수렴 결과를 확립하였다.
• g가 강凸이고 미분 가능할 때 f(x) = g(Ex)를 최소화하는 문제에서, 콤팩터성 조건 없이도 다각형 집합 위에서 강화된 RSC 유형 성질이 성립한다.
• 확장된 GEB와 QG 성질 간의 동치성은 명시적 상수를 통해 확립되었으며, $ ext{eGEB}( heta, ho) $는 임의의 $ au \neq \theta $에 대해 $ ext{eQG}(\tau, \rho) $를 함의하고, 그 역도 마찬가지로 $ \theta = \frac{\tau \rho^2}{(2\rho + \tau)(\rho + L)} $일 때 성립한다.
• 함수 감소에 대한 새로운 하한이 도출되었으며, $ f(x) - f(x_Q) \rangle \frac{1}{2\theta} \| G^f_Q(\bar{x}; \theta) \|^2 + \frac{\mu}{2} \| Ex - E\bar{x} \|^2 $로 표현되며, 이는 강凸성과 리프시츠 기울기 조건 하에서 내림값 조건을 강화한다.