[논문 리뷰] Towards Unified Acceleration of High-Order Algorithms under Hölder Continuity and Uniform Convexity.

Chaobing Song, Yi Ma|arXiv (Cornell University)|2019. 06. 03.

Sparse and Compressive Sensing Techniques참고 문헌 42인용 수 9

한 줄 요약

이 논문은 헬더 연속 도함수와 균일 볼록성 조건 하에서 고차수 볼록 최적화를 위한 통합 가속 프레임워크(UAF)를 제안한다. 이는 순수한 프록시멀 방법을 통해 두 주요 고차수 가속 접근법을 통합한다. UAF는 알려진 하한값과 일치하는 최적의 반복 복잡도를 달성하며, 비유클리드 노름으로의 고차수 방법 확장을 가능하게 하며, 구현을 단순화하는 실용적 히우리스틱을 제공함으로써 일阶 방법보다 뛰어난 런타임 성능을 보인다.

ABSTRACT

In this paper, through a very intuitive vanilla proximal method perspective, we derive accelerated high-order optimization algorithms for minimizing a convex function that has Holder continuous derivatives. In this general convex setting, we propose a concise unified acceleration framework (UAF), which reconciles the two different high-order acceleration approaches, one by Nesterov and Baes [29, 3, 33] and one by Monteiro and Svaiter [25]. As result, the UAF unifies the high-order acceleration instances [29, 3, 33, 15, 16, 25, 19, 6, 14] of the two approaches by only two problem-related parameters and two additional parameters for framework design. Furthermore, the UAF (and its analysis) is the first approach to make high-order methods applicable for high-order smoothness conditions with respect to non-Euclidean norms. If the function is further uniformly convex, we propose a general restart scheme for the UAF. The iteration complexities of instances of both the UAF and the restarted UAF match existing lower bounds in most important cases [2, 16]. For practical implementation, we introduce a new and effective heuristic that significantly simplifies the binary search procedure required by the framework. We use experiments to verify the effectiveness of the heuristic and demonstrate clear and consistent advantages of high-order acceleration methods over first-order ones, in terms of run-time complexity. Finally, the UAF is proposed directly in the general composite convex setting, thus show that the existing high-order algorithms [29, 3, 33, 16, 6, 14] can be naturally extended to the general composite convex setting.

연구 동기 및 목표

• 헬더 연속 도함수를 갖는 일반 볼록 함수에 적용 가능한 단일 프레임워크를 통해 기존의 고차수 가속 방법을 통합하는 것.
• 유니버설 노름을 넘어선 비유클리드 설정으로 고차수 방법을 확장하여 적용 범위를 넓히는 것.
• 균일 볼록 함수에 대해 최적의 수렴 속도를 유지하는 재시작 전략을 개발하는 것.
• 이진 탐색 절차를 위한 효과적인 히우리스틱을 도입하여 고차수 방법의 구현을 단순화하는 것.
• 실험을 통해 고차수 방법이 일阶 방법에 비해 런타임 복잡도 측면에서 얼마나 뛰어난지 보여주는 것.

제안 방법

• UAF는 순수한 프록시멀 방법 관점에서 유도되며, 두 개의 문제 특화 파라미터와 두 개의 프레임워크 특화 파라미터를 사용하여 기존의 고차수 가속 기법들을 통합한다.
• 이 프레임워크는 네스테로프와 바스 [29, 3, 33] 및 몬테이로와 스바이터 [25]의 접근법을 하나의 일관된 구조로 통합한다.
• 균일 볼록 함수에 대한 일반적인 재시작 전략이 제안되며, 최적의 반복 복잡도를 유지한다.
• UAF는 직접 복합 볼록 설정에서 제안되어, 이전의 고차수 알고리즘을 더 넓은 클래스로 확장할 수 있도록 한다.
• 고차수 방법에서 일반적으로 요구되는 이진 탐색 절차를 단순화하는 데 효과적인 새로운 히우리스틱이 도입된다. 이는 실용적 효율성을 향상시킨다.
• 이론적 분석을 통해 UAF와 그 재시작 변형이 대부분 중요한 경우에 알려진 하한값과 일치하는 반복 복잡도를 달성함을 입증한다.

실험 결과

연구 질문

• RQ1 헬더 연속 도함수 조건 하에서 두 주요 고차수 가속 접근법을 하나의 프레임워크로 통합할 수 있는가?
• RQ2 비유클리드 노름 조건 하에서도 최적의 수렴 성능를 유지하면서 고차수 방법을 어떻게 확장할 수 있는가?
• RQ3 통합 프레임워크 내에서 균일 볼록 함수에 대해 최적의 재시작 전략은 무엇인가?
• RQ4 실용적인 히우리스틱을 통해 고차수 방법의 구현을 상당히 단순화할 수 있으며, 수렴 보장을 잃지 않을 수 있는가?
• RQ5 실제로 고차수 방법이 일阶 방법에 비해 런타임 복잡도 측면에서 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• UAF는 대부분 중요한 경우에 기존 하한값과 일치하는 최적의 반복 복잡도를 달성하여 이론적 최적성을 확인한다.
• 이 프레임워크는 문제 특화 파라미터 2개와 프레임워크 특화 파라미터 2개만으로 [29, 3, 33, 16, 6, 14, 25, 15, 19]의 다양한 고차수 가속 사례를 하나의 구조로 통합한다.
• UAF 하에서 고차수 방법이 처음으로 비유클리드 노름으로 확장되어, 유클리드 설정을 넘어서는 적용 범위를 넓힌다.
• 균일 볼록 함수에 대한 제안된 재시작 전략은 최적의 수렴 속도를 유지하며 UAF에 원활하게 통합된다.
• 새로운 히우리스틱은 이진 탐색 과정을 상당히 단순화하여 더 효율적이고 실용적인 구현을 가능하게 한다.
• 실험 결과는 고차수 방법이 일阶 방법에 비해 런타임 복잡도 측면에서 일관되고 명확한 우수성을 보임을 확인한다.