[논문 리뷰] Linear convergence of first order methods under weak nondegeneracy assumptions for convex programming

Ion Necoara|arXiv (Cornell University)|2015. 04. 23.

Sparse and Compressive Sensing Techniques인용 수 1

한 줄 요약

이 논문은 표준 강력 볼록성 가정을 초월하여 부드럽고 볼록 최적화에서 1차 방법의 선형 수렴성을 보장하는 느슨한 강력 볼록성 조건 하에서 선형 수렴을 확립한다. 프로젝션 그래디언트, 빠른 그래디언트, 타당 내림(descents) 방법에 대해 선형 수렴 속도를 보장하는 약화된 곡률 조건을 도입하여 선형 시스템과 선형 프로그래밍과 같은 핵심 응용 분야를 포함한다.

ABSTRACT

The standard assumption for proving linear convergence of first order methods for smooth convex optimization is the strong convexity of the objective function, an assumption which does not hold for many practical applications. In this paper, we derive linear convergence rates of several first order methods for solving smooth non-strongly convex constrained optimization problems, i.e. involving an objective function with a Lipschitz continuous gradient that satisfies some relaxed strong convexity condition. In particular, in the case of smooth constrained convex optimization, we provide several relaxations of the strong convexity conditions and prove that they are sufficient for getting linear convergence for several first order methods such as projected gradient, fast gradient and feasible descent methods. We also provide examples of functional classes that satisfy our proposed relaxations of strong convexity conditions. Finally, we show that the proposed relaxed strong convexity conditions cover important applications ranging from solving linear systems, Linear Programming, and dual formulations of linearly constrained convex problems.

연구 동기 및 목표

• 1차 방법에서 선형 수렴을 위한 강력 볼록성 조건이 필수 조건이라는 한계를 해결하기 위해.
• 강력 볼록성보다 더 약한 곡률 조건을 특정하여 여전히 선형 수렴 속도를 보장할 수 있는지를 규명하기 위해.
• 부드럽고 비강력 볼록이며 제약 조건이 있는 최적화 문제로 수렴 분석을 확장하기 위해.
• 느슨한 조건이 선형 시스템과 선형 프로그래밍과 같은 실제 문제에 적용 가능한지를 보여주기 위해.
• 더 넓은 범주로 일반화된 볼록 문제에 대해 1차 방법의 수렴 이론을 통합하기 위해.

제안 방법

• 가능성 집합 상에서 헤시안의 행동에 기반한 느슨한 강력 볼록성 조건을 제안하여 일부 방향에서 곡률이 사라지는 것을 허용한다.
• 최적 해 집합까지의 거리에 의존하는 일반화된 곡률 조건을 도입하여 충분한 내림을 보장한다.
• 새로운 조건 하에서 프로젝션 그래디언트, 빠른 그래디언트, 타당 내림 방법을 분석하고 선형 수렴 속도를 증명한다.
• 기울기의 리프시츠 연속성과 새로운 곡률 조건을 사용하여 매 반복 단계에서 목적 함수 값의 감소를 바ounds한다.
• 느슨한 곡률 조건을 통해 최적성 갭의 감소를 해 집합까지의 거리와 연결하여 수렴 속도를 유도한다.
• 선형 제약 조건이 있는 볼록 문제의 이중 형식과 선형 시스템에 이 프레임워크를 적용하여 적용 가능성을 보여준다.

실험 결과

연구 질문

• RQ1 목적 함수의 강력 볼록성을 가정하지 않더라도 1차 방법에서 선형 수렴을 달성할 수 있는가?
• RQ2 부드러운 볼록 최적화에서 선형 수렴을 보장하기 위해 충분한 느슨한 곡률 조건은 무엇인가?
• RQ3 제안된 조건은 표준 강력 볼록성 가정을 어떻게 일반화하거나 확장하는가?
• RQ4 새로운 조건은 선형 시스템과 선형 프로그래밍과 같은 중요한 응용 분야를 커버하는가?
• RQ5 단일한 느슨한 프레임워크 하에서 다양한 1차 방법에 대한 수렴 분석을 통합할 수 있는가?

주요 결과

• 프로젝션 그래디언트, 빠른 그래디언트, 타당 내림 방법이 곡률이 일부 방향에서 사라질 수 있는 느슨한 강력 볼록성 조건 하에서 선형 수렴을 달성한다.
• 제안된 곡률 조건은 강력 볼록성보다 더 약하지만 여전히 최적 해 집합까지의 거리로 측정되는 선형 수렴 속도를 보장한다.
• 이 프레임워크는 선형 제약 조건이 있는 볼록 문제의 이중 형식, 즉 선형 프로그래밍과 선형 시스템 해결에 적용 가능하다.
• 느슨한 조건을 만족하는 함수 클래스의 예시를 제공하여 조건이 공허하지 않고 실질적인 문제에 적용 가능하다는 것을 보여준다.
• 강력 볼록성 매개수를 일반화한 곡률 매개수에 따라 수렴 속도가 결정되며, 이로 인해 강력 볼록성 매개수가 0이 되더라도 여전히 선형 수렴이 유지된다.
• 결과적으로 기존 수렴 이론을 통합하고 확장하여 비강력 볼록 문제에 대한 더 빠른 최적화를 핵심 응용 분야에서 가능하게 한다.