[논문 리뷰] New Analysis of Linear Convergence of Gradient-type Methods via Unifying Error Bound Conditions

Huigang Zhang|arXiv (Cornell University)|2016. 06. 01.

Sparse and Compressive Sensing Techniques참고 문헌 56인용 수 11

한 줄 요약

이 논문은 잔차 측도 연산자를 사용하여 오차 한계(EB) 조건을 통합하는 프레임워크를 제안하며, 그래디언트 유형 알고리즘의 선형 수렴를 위한 필요 및 충분한 EB 조건을 도출한다. 강한 볼록성 조건 없이도 기초 알고리즘들인 그래디언트 디센트, 프록시멀 포인트, 포워드-백워드 스플리팅, 네스터로프 가속 방법의 Q-선형 수렴을 보장하는 것으로 알려진 가장 약한 조건을 확립한다.

ABSTRACT

This paper reveals that a common and central role, played in many error bound (EB) conditions and a variety of gradient-type methods, is a residual measure operator. On one hand, by linking this operator with other optimality measures, we define a group of abstract EB conditions, and then analyze the interplay between them; on the other hand, by using this operator as an ascent direction, we propose an abstract gradient-type method, and then derive EB conditions that are necessary and sufficient for its linear convergence. The former provides a unified framework that not only allows us to find new connections between many existing EB conditions, but also paves a way to construct new EB conditions. The latter allows us to claim the weakest conditions guaranteeing linear convergence for a number of fundamental algorithms, including the gradient method, the proximal point algorithm, and the forward-backward splitting algorithm. In addition, we show linear convergence for the proximal alternating linearized minimization algorithm under a group of equivalent EB conditions, which are strictly weaker than the traditional strongly convex condition. Moreover, by defining a new EB condition, we show Q-linear convergence of Nesterov's accelerated forward-backward algorithm without strong convexity. Finally, we verify EB conditions for a class of dual objective functions.

연구 동기 및 목표

• 그래디언트 유형 알고리즘 수렴 분석에서 사용되는 다양한 오차 한계(EB) 조건들을 하나의 추상적 프레임워크로 통합하기.
• 다양한 EB 조건들과 그래디언트 방법들 사이에서 공통적으로 작용하는 잔차 측도 연산자를 통합적 요소로 규명하기.
• 기초 알고리즘들(비볼록 설정 포함)의 선형 수렴를 위한 필요 및 충분한 EB 조건을 확립하기.
• 이전에 알려진 것보다 더 약한 조건 하에서 네스터로프 가속 포워드-백워드 알고리즘의 Q-선형 수렴를 입증하기.
• 쌍대 목적 함수에 대한 EB 조건을 원-쌍대 구조를 이용해 검증하여 쌍대 함수의 강한 볼록성 가정을 피하기.

제안 방법

• 최적성 측도와 수렴 행동을 연결하는 핵심 요소로 추상적 잔차 측도 연산자를 도입한다.
• 잔차 측도 연산자를 기반으로 한 추상적 EB 조건의 집합을 정의하고, 쿠르다카-로자예브스키 부등식 프레임워크 기법을 활용해 그 상호작용을 분석한다.
• 잔차 측도 연산자가 상승 방향으로 기능하는 추상적 그래디언트 유형 알고리즘을 제안한다.
• 이 추상적 알고리즘의 선형 수렴를 위한 필요 및 충분한 EB 조건을 유도하며, 이는 고전적 알고리즘들을 포함한다.
• 이 프레임워크를 적용해 네스터로프 가속 포워드-백워드 알고리즘의 Q-선형 수렴를 새로운 더 약한 EB 조건 하에서 증명한다.
• KL 부등식의 글로벌라이제이션 기법을 사용해 쌍대 목적 함수에 대한 EB 조건을 검증하며, 이전에 요구하던 쌍대 함수의 전역 강한 볼록성 조건을 완화한다.

실험 결과

연구 질문

• RQ1 그래디언트 유형 알고리즘 수렴 분석에서 사용되는 다수의 오차 한계 조건들을 연결하는 통합 프레임워크를 개발할 수 있는가?
• RQ2 잔차 측도 연산자가 그래디언트 방법에서 최적성 조건과 수렴 행동을 둘러싸는 기본 요소인가?
• RQ3 기존의 선형 수렴를 위한 충분한 EB 조건들이 반드시 필요조건인가? 그리고 선형 수렴를 보장하는 가장 약한 조건은 무엇인가?
• RQ4 강한 볼록성 조건 없이도 네스터로프 가속 포워드-백워드 알고리즘의 Q-선형 수렴를 확립할 수 있는가?
• RQ5 쌍대 목적 함수에 대한 EB 조건은 쌍대 함수의 강한 볼록성 조건 없이 어떤 조건에서 검증될 수 있는가?

주요 결과

• 잔차 측도 연산자가 다양한 오차 한계 조건들과 그래디언트 유형 알고리즘들 사이에서 통합적 요소로 규명되었다.
• 잔차 측도 연산자를 기반으로 한 새로운 추상적 EB 조건의 집합이 정의되었으며, 이는 기존 EB 조건들 간의 새로운 연결 고리를 발견하고 새로운 조건들을 구성하는 데 기여한다.
• 기울기 방법, 프록시멀 포인트 알고리즘, 포워드-백워드 스플리팅 알고리즘의 선형 수렴를 위한 필요 및 충분한 EB 조건이 최초로 도출되었다.
• 프록시멀 알터네이팅 라이너라이즈드 미니마이제이션(PALM) 알고리즘이 강한 볼록성보다 더 약한 조건을 만족하는 동치 EB 조건 하에서 Q-선형 수렴를 보임이 입증되었다.
• 네스터로프 가속 포워드-백워드 알고리즘이 강한 볼록성 조건 없이도 새로운 더 약한 EB 조건 하에서 Q-선형 수렴를 달성한다.
• 논문은 원-쌍대 구조를 활용해 쌍대 목적 함수에 대한 EB 조건을 검증하였으며, 이는 쌍대 함수의 전역 강한 볼록성 조건이 아닌, 점 주변에서의 서브디퍼런셜의 캄프니스 조건만 요구한다.