[논문 리뷰] Optimizing the Efficiency of First-Order Methods for Decreasing the Gradient of Smooth Convex Functions

Donghwan Kim, Jeffrey A. Fessler|arXiv (Cornell University)|2018. 03. 18.

Sparse and Compressive Sensing Techniques참고 문헌 26인용 수 16

한 줄 요약

이 논문은 초기 함수 값이 유계 조건을 만족할 때, 부드럽고 볼록 최소화 문제에 대해 최악의 경우 내림차수를 최소화하는 최적의 일阶 방법인 OGM-G를 제안한다. 성능 평가 문제(PEP) 프레임워크를 사용하여, 상수 인자까지 최적의 최악의 경우 경사하강법 범위 감소를 달성하는 스텝 계수를 유도하며, 최적화된 경사하강법(OGM)과 유사한 계산적으로 효율적인 형태를 취한다.

ABSTRACT

This paper optimizes the step coefficients of first-order methods for smooth convex minimization in terms of the worst-case convergence bound (i.e., efficiency) of the decrease in the gradient norm. This work is based on the performance estimation problem approach. The worst-case gradient bound of the resulting method is optimal up to a constant for large-dimensional smooth convex minimization problems, under the initial bounded condition on the cost function value. This paper then illustrates that the proposed method has a computationally efficient form that is similar to the optimized gradient method.

연구 동기 및 목표

• 부드럽고 볼록 최소화 문제에서 경사하강법 범위의 최악의 경우 감소율을 최적으로 줄이는 일阶 방법을 개발하는 것.
• 초기 함수 값이 유계 조건을 만족할 때 최악의 경우 경사하강법 수렴 속도를 최적화하는 방법의 부족을 해결하는 것.
• 성능 평가에서 과도한 단순화를 초래하는 제약 조건으로 인해 최악의 경우 경계가 비최적화되는 기존 방법을 개선하는 것.
• 계산적으로 효율적인 형태를 취하고 OGM와 유사한 구조를 가지며 실용적 구현이 가능한 방법을 제공하는 것.
• 볼록 및 비볼록 설정에서 경사하강법 수렴에 대한 이론적 이해를 확장하는 것.

제안 방법

• 일阶 방법의 최악의 경우 수렴을 분석하기 위해 성능 평가 문제(PEP) 프레임워크를 활용한다.
• 최악의 경우 경사하강법 범위 감소를 최소화하기 위해 이완된 PEP 설정을 풀어 스텝 계수를 유도한다.
• θ̃i² = θ̃i−1(θ̃i−1 + 1)를 만족하는 수열 {θ̃i}를 기반으로 하는 재귀적 구조를 이용해 새로운 방법 OGM-G를 도입한다.
• OGM와 유사한 구조를 가지며 계산적으로 효율적인 OGM-G의 등가 형태를 확립한다.
• 정확한 최악의 경우 분석을 사용하여 GM과 OGM-G에 대한 경계를 유도하며, 보수적인 단순화를 피한다.
• 초기 함수 값이 유계 조건을 만족할 때 OGM-G의 경사하강법 감소 속도가 상수 인자까지 최적이며, 이를 검증한다.

실험 결과

연구 질문

• RQ1 부드럽고 볼록 함수에 대해 최악의 경우 경사하강법 범위 감소율을 최적으로 줄일 수 있는 일阶 방법을 개발할 수 있는가?
• RQ2 초기 최적 해와의 거리 정보 없이도 최적의 경사하강법 수렴을 달성할 수 있는가?
• RQ3 초기 함수 값이 유계 조건을 만족할 때 표준 경사하강법(GM)의 정확한 최악의 경우 경사하강법 경계는 무엇인가?
• RQ4 이론적 최악의 경우 경사하강법 감소 경계를 상수 인자까지 충족하는 계산적으로 효율적인 방법을 유도할 수 있는가?
• RQ5 동일한 초기 조건 하에서 OGM-G의 성능은 기존 가속화 방법과 비교해 경사하강법 수렴 측면에서 어떻게 다른가?

주요 결과

• OGM-G는 초기 함수 값이 유계 조건을 만족할 때 상수 인자까지 최악의 경우 경사하강법 범위 감소율을 달성한다.
• 표준 경사하강법(GM)의 최악의 경우 경사하강법 경계는 PEP 프레임워크를 사용하여 정확히 유도되었으며, 새로운 이론적 기준이 된다.
• OGM-G는 OGM과 유사한 계산적으로 효율적인 형태를 가지며, 반복당 비용이 낮고 실용적으로 사용 가능하다.
• 이전의 PEP 기반 분석에서 사용된 엄격한 단순화를 피함으로써 더 날카롭고 정확한 최악의 경우 경계를 도출한다.
• 동일한 초기 조건 하에서 다른 일阶 방법이 OGM-G보다 더 나은 최악의 경우 경사하강법 감소율을 달성할 수 없기에, OGM-G는 최적이며 최적화된 방법이다.
• 초기 최적 해와의 거리가 무한대일 수 있는 경우(예: 분리 가능한 데이터에 대한 정규화되지 않은 로지스틱 회귀)에도 적용 가능하므로, 거리 기반 가정보다 더 넓은 범위로 적용 가능하다.