[논문 리뷰] Error bounds, quadratic growth, and linear convergence of proximal methods

Dmitriy Drusvyatskiy, Adrian S. Lewis|arXiv (Cornell University)|2016. 02. 22.

Sparse and Compressive Sensing Techniques인용 수 4

한 줄 요약

이 논문은 볼록 및 복합 최적화를 위한 프록시멀 방법에서 오차 경계(error bounds)와 이차 성장 조건(quadratic growth conditions)의 등가성을 확립하며, 강한 볼록성 조건이 없더라도 이러한 오차 경계가 선형 수렴을 암시함을 증명한다. 주요 기여는 하위도함수의 거리하향성(metric subregularity)을 선형 수렴 속도와 연결하는 통합된 프레임워크를 제공하는 것으로, 프록시멀 그라디언트 및 프록시멀-선형 알고리즘에 응용된다.

ABSTRACT

The proximal gradient algorithm for minimizing the sum of a smooth and a nonsmooth convex function often converges linearly even without strong convexity. One common reason is that a multiple of the step length at each iteration may linearly bound the "error" -- the distance to the solution set. We explain the observed linear convergence intuitively by proving the equivalence of such an error bound to a natural quadratic growth condition. Our approach generalizes to linear convergence analysis for proximal methods (of Gauss-Newton type) for minimizing compositions of nonsmooth functions with smooth mappings. We observe incidentally that short step-lengths in the algorithm indicate near-stationarity, suggesting a reliable termination criterion.

연구 동기 및 목표

• 오차 경계와 이차 성장 조건을 연결하여, 프록시멀 방법에서 선형 수렴의 직관적 기하적 근거를 명확히 하기 위해.
• 강한 볼록 문제를 초월하여 비미분 가능 및 복합 설정에서 오차 경계와 이차 성장 조건 간의 등가성을 일반화하기 위해.
• 거리하향성과 하위도함수 성질을 활용하여 프록시멀 그라디언트 및 프록시멀-선형 방법에 대한 통합 분석 프레임워크를 제공하기 위해.
• 단기 단계 길이가 근접 정류성(near-stationarity)과 관련되어 있기 때문에, 프록시멀 알고리즘에서 단기 단계 길이가 신뢰할 수 있는 종료 기준이 될 수 있음을 확립하기 위해.
• 기울기 기반 맵핑의 하향성(subregularity)과 기울기 기반 맵핑의 하향성(subregularity) 간의 등가성을 일반화하여 비볼록 복합 문제에 대한 수렴 보장을 제공하기 위해.

제안 방법

• 오차 경계의 대체로 하위도함수의 거리하향성을 사용하여, 변동 분석을 통해 이와 이차 성장 조건을 연결한다.
• 함수 및 하위도함수 국소화 기법을 적용하여 최소화점 근처에서 프록시멀 반복의 행동을 분석한다.
• 비볼록 및 확장 실수 값 함수를 다루기 위해 $φ$-주의적 국소화 프레임워크를 활용한다.
• 하위도함수 포함관계와 이차 항을 포함한 부등식을 사용하여 단계 길이의 범위를 유도하고, 반복값이 최적성과 어떻게 관련되는지 분석한다.
• 볼록 및 비볼록 설정 모두에서 오차 경계 조건과 기울기 유사 맵핑의 하향성 간의 등가성을 확립한다.
• 단계 길이에 기반한 종료 기준을 도입하여, 작은 단계 길이가 근접 정류성을 나타냄을 보여준다.

실험 결과

연구 질문

• RQ1 강한 볼록성 조건이 없을 때 오차 경계 성질이 프록시멀 방법에서 선형 수렴을 암시하는 조건는 무엇인가?
• RQ2 비미분 가능 및 복합 최적화 문제에서 오차 경계는 어떻게 이차 성장 조건과 관련이 있는가?
• RQ3 비볼록 설정에서 프록시멀-선형 방법이 자연스러운 선형 수렴 속도를 달성할 수 있는가? 어떤 더 강한 조건이 필요한가?
• RQ4 하위도함수의 거리하향성이 프록시멀 알고리즘의 선형 수렴을 보장하는 데 어떤 역할을 하는가?
• RQ5 프록시멀 방법에서 단계 길이는 어떻게 사용되어 최적화의 신뢰할 수 있는 종료 기준이 될 수 있는가?

주요 결과

• 오차 경계 성질은 목적 함수에 대해 이차 성장 조건과 등가이며, 이는 선형 수렴의 기하적 기반을 제공한다.
• 강한 볼록성 조건 없이도 오차 경계 조건이 성립할 경우 프록시멀 그라디언트 방법의 선형 수렴이 보장된다.
• 프록시멀-선형 알고리즘의 경우, 목적 함수가 기울기 편향에 대한 균일한 이차 성장을 만족할 경우 자연스러운 수렴 속도로 선형 수렴이 이루어지며, 이는 기울기 안정성(tilt-stability) 또는 강한 거리하향성과 등가이다.
• 표준 오차 경계 조건 하에서는 프록시멀-선형 방법이 더 나쁜 수렴 속도를 보이지만, 기울기 안정성과 같은 더 강한 조건이 도입될 경우 이를 개선할 수 있다.
• 알고리즘에서 짧은 단계 길이는 근접 정류성을 나타내며, 이는 단계 크기에 기반한 신뢰할 수 있는 종료 기준을 가능하게 한다.
• 복합 함수 $ h $가 유한값이 아니거나 볼록이 아니더라도, 프록시멀 정규성(prox-regular) 조건이 만족될 경우 하위도함수의 하향성과 오차 경계 간의 등가성은 여전히 성립한다.