[논문 리뷰] Underestimate Sequences via Quadratic Averaging.

Chenxin Ma, Naga V. C. Gudapati외 3명|arXiv (Cornell University)|2017. 10. 10.

Sparse and Compressive Sensing Techniques참고 문헌 5인용 수 5

한 줄 요약

이 논문은 강凸(smooth 및 복합) 함수에 대해 Nesterov의 추정 수열을 확장하는 새로운 프레임워크인 Underestimate Sequence (UES)를 소개한다. 이 프레임워크는 목적 함수의 하한을 제공하는 하한 수열을 통합함으로써, 효율적인 하한 갱신을 통해 선형 수렴 속도를 달성하는 일阶 방법을 제안하며, 자연스러운 정지 조건과 최적 수렴 속도를 제공함으로써 최적성의 증거를 제공한다.

ABSTRACT

In this work we introduce the concept of an Underestimate Sequence (UES), which is a natural extension of Nesterov's estimate sequence. Our definition of a UES utilizes three sequences, one of which is a lower bound (or under-estimator) of the objective function. The question of how to construct an appropriate sequence of lower bounds is also addressed, and we present lower bounds for strongly convex smooth functions and for strongly convex composite functions, which adhere to the UES framework. Further, we propose several first order methods for minimizing strongly convex functions in both the smooth and composite cases. The algorithms, based on efficiently updating lower bounds on the objective functions, have natural stopping conditions, which provides the user with a certificate of optimality. Convergence of all algorithms is guaranteed through the UES framework, and we show that all presented algorithms converge linearly, with the accelerated variants enjoying the optimal linear rate of convergence.

연구 동기 및 목표

• 목적 함수에 대한 하한을 통해 최적성의 증거를 제공하는 새로운 일阶 최적화 프레임워크를 개발하는 것.
• 통합된 프레임워크 내에서 강凸(smooth 및 복합) 함수에 대해 효과적인 하한을 구성하는 데 도전하는 것.
• 이러한 하한을 활용하여 선형 수렴 속도를 보장하는 일阶 알고리즘을 설계하는 것.
• 이중성 갭 기반 자연스러운 정지 조건을 제공하여 최적화 중 근사 최적성을 검증할 수 있도록 하는 것.
• Nesterov의 추정 수열 개념을 공식적으로 하한 수열을 핵심 구성 요소로 통합함으로써 확장하는 것.

제안 방법

• 목적 함수의 하한을 제공하는 세 수열 프레임워크로 Underestimate Sequence (UES)를 도입한다.
• UES 조건을 만족하는 강凸(smooth 함수 및 강凸(복합 함수)에 대해 명시적인 하한을 구성한다.
• 목적 함수를 아래에서 따라잡는 하한 수열을 반복적으로 갱신하는 일阶 최적화 알고리즘을 설계한다.
• 하한 수열의 갱신을 안정적이고 효율적으로 유지하기 위해 이차 평균화 기법을 적용한다.
• 현재 반복점과 하한 사이의 이중성 갭 기반 자연스러운 정지 조건을 통합한다.
• UES 프레임워크 내에서 하한 수열의 진화를 분석함으로써 수렴 속도를 유도하고, 가속화된 변형이 최적 속도로 선형 수렴을 보임을 증명한다.

실험 결과

연구 질문

• RQ1 강凸(smooth 및 복합) 함수에 대해 최적성의 증거를 지원하는 체계적인 하한 수열을 어떻게 구성할 수 있는가?
• RQ2 이차 평균화 기법은 안정적이고 수렴 가능한 추정 수열을 구성하는 데 어떤 역할을 하는가?
• RQ3 추정 수열 기반의 일阶 방법이 강凸 문제에 대해 최적의 선형 수렴 속도를 달성할 수 있는가?
• RQ4 제안된 알고리즘은 이중성 갭 기반으로 자연스러운 정지 조건을 어떻게 제공하는가?
• RQ5 UES 프레임워크는 Nesterov의 원래 추정 수열을 어떻게 일반화하고 향상시키는가?

주요 결과

• 제안된 Underestimate Sequence (UES) 프레임워크는 목적 함수에 대한 하한 수열을 공식적으로 통합함으로써 Nesterov의 추정 수열을 성공적으로 확장한다.
• 강凸(smooth 함수에 대해, UES 기반 알고리즘이 최적 속도로 선형 수렴을 달성하며, 가장 잘 알려진 이론적 한계와 일치한다.
• 프록시항을 포함하는 복합 함수를 지원하여 Lasso 및 퓌스드 Lasso와 같은 문제에의 적용 가능성을 제공한다.
• 이중성 갭 기반 자연스러운 정지 조건을 포함하여, 갭이 사용자 정의 허용 오차 이하일 경우 최적성의 증거를 제공한다.
• 이차 평균화의 사용은 하한 수열의 안정적이고 효율적인 갱신을 보장하며, 이는 수렴성과 실용적 구현에 있어 핵심적이다.
• 알고리즘의 가속화된 변형은 최적의 선형 수렴 속도를 달성하여, UES 프레임워크 내에서 이론적 최적성의 타당성을 확인한다.