[논문 리뷰] Linear convergence of first order methods for non-strongly convex optimization

Ion Necoara, Yurii Nesterov외 1명|arXiv (Cornell University)|2015. 04. 23.

Sparse and Compressive Sensing Techniques인용 수 5

한 줄 요약

이 논문은 비강한 볼록 최적화 문제에서 일阶 방법의 선형 수렴성을 확립하기 위해 제곱형 기능 성장 조건과 같은 이완된 강한 볼록성 조건을 도입한다. 이는 투영 그래디언트, 빠른 그래디언트, 타당 내림값 방법의 선형 수렴이 충분함을 증명하며, 선형 프로그래밍 및 선형 시스템과 같은 문제로의 적용 가능성을 확장한다.

ABSTRACT

The standard assumption for proving linear convergence of first order methods for smooth convex optimization is the strong convexity of the objective function, an assumption which does not hold for many practical applications. In this paper, we derive linear convergence rates of several first order methods for solving smooth non-strongly convex constrained optimization problems, i.e. involving an objective function with a Lipschitz continuous gradient that satisfies some relaxed strong convexity condition. In particular, in the case of smooth constrained convex optimization, we provide several relaxations of the strong convexity conditions and prove that they are sufficient for getting linear convergence for several first order methods such as projected gradient, fast gradient and feasible descent methods. We also provide examples of functional classes that satisfy our proposed relaxations of strong convexity conditions. Finally, we show that the proposed relaxed strong convexity conditions cover important applications ranging from solving linear systems, Linear Programming, and dual formulations of linearly constrained convex problems.

연구 동기 및 목표

• 표준 가정이 실용적 응용에서 실패하는 비강한 볼록 문제에서 일阶 방법의 선형 수렴성의 한계를 해결하기 위해.
• 강한 볼록성 조건을 이완하면서도 일阶 방법의 선형 수렴성을 보장하는 일반적인 기능 조건을 규명하기 위해.
• 이러한 이완된 조건이 선형 프로그래밍, 선형 시스템 해법, 선형 제약 볼록 문제의 이중 형식과 같은 중요한 응용을 포함함을 보여주기 위해.
• 이 새로운 조건 하에서 투영 그래디언트, 빠른 그래디언트, 타당 내림값 방법의 이론적 보장과 향상된 수렴 속도를 제공하기 위해.

제안 방법

• 강한 볼록성의 이완으로 제곱형 기능 성장 조건을 도입하여, 목적 함수가 최적 집합까지의 제곱 거리보다 더 빠르게 증가해야 한다고 요구한다.
• 강한 볼록성의 다른 더 보수적인 이완 조건을 제안하고, 이들이 제곱형 기능 성장 조건과의 관계를 규명한다.
• 이러한 이완된 조건을 적용하여, 매끄럽고 볼록하며 제약 조건이 있는 최적화에서 투영 그래디언트, 빠른 그래디언트, 타당 내림값 방법의 선형 수렴성을 증명한다.
• 선형 프로그래밍 문제를 강한 볼록 성질을 가진 타당성 문제로 재구성하기 위해 동차 자기쌍대 임bedding 재구성 기법을 사용한다.
• 재구성된 문제에 대해 일阶 방법(예: 투영 그래디언트, 재시작을 포함한 빠른 그래디언트)을 적용하여 선형 수렴성을 달성한다.
• 밀도가 높고 낮은 제약 행렬을 가진 무작위로 생성된 선형 프로그래밍 문제에 대한 수치 시뮬레이션을 통해 이론적 결과를 검증한다.

실험 결과

연구 질문

• RQ1 비강한 볼록 최적화에서 일阶 방법의 선형 수렴성을 보장하기 위해 목적 함수에 필요한 이완된 조건은 무엇인가?
• RQ2 제안된 강한 볼록성의 이완 조건은 오차 경계, 날카로운 최소값, 제한된 강한 볼록성과 같은 기존 개념과 어떻게 비교되는가?
• RQ3 제안된 이완 조건 하에서 일阶 방법이 선형 프로그래밍 및 선형 시스템에 대해 선형 수렴성을 달성할 수 있는가?
• RQ4 제곱형 기능 성장 조건과 투영 그래디언트 및 빠른 그래디언트 방법의 수렴 속도 사이의 관계는 무엇인가?
• RQ5 이론적 수렴 속도는 흩어진 및 밀도가 높은 선형 프로그래밍 문제에 대한 수치 실험에서의 실용적 성능와 어떻게 비교되는가?

주요 결과

• 제곱형 기능 성장 조건은 매끄럽고 볼록하며 제약 조건이 있는 최적화에서 투영 그래디언트, 빠른 그래디언트, 타당 내림값 방법의 선형 수렴성을 충분히 보장한다.
• 제안된 이완된 강한 볼록성 조건은 선형 시스템 해법, 선형 프로그래밍, 선형 제약 볼록 문제의 이중 형식과 같은 중요한 응용을 포함한다.
• 수치 결과는 재시작을 포함한 빠른 그래디언트 방법이 흩어진 및 밀도가 높은 선형 프로그래밍 문제에서 표준 투영 그래디언트 및 순환 좌표 내림값 방법보다 훨씬 더 빠른 수렴을 달성함을 보여준다.
• 시뮬레이션을 통해 이론적 선형 수렴이 확인되었으며, 오차 감소가 로그적으로 감소하여 예측된 선형 속도와 일치한다.
• 제안된 이완 조건 하에서 그래디언트 방법의 선형 수렴을 위한 필요 및 충분 조건을 수립한다.
• 동차 자기쌍대 임bedding를 통해 선형 프로그래밍을 제곱형 볼록 문제로 재구성한 경우, 일阶 방법은 정확도 단위당 $\mathcal{O}(1)$ 반복 내에서 선형 수렴을 달성하며, 이는 이완 조건 하에서 선형 시간 내에 해를 구할 수 있음을 의미한다.