[논문 리뷰] Tensor Methods for Minimizing Functions with H\"{o}lder Continuous Higher-Order Derivatives

Geovani Nunes Grapiglia, Yurii Nesterov|arXiv (Cornell University)|2019. 04. 29.

Mathematical Approximation and Integration참고 문헌 14인용 수 14

한 줄 요약

이 논문은 $p$-번 미분 가능하고 $u$-H"{o}lder 연속인 $p$차 도함수를 갖는 볼록 함수를 최소화하기 위한 가속화된 및 비가속화된 텐서 방법을 제안한다. $u$가 알려져 있을 경우 비가속화 방법의 반복 복잡도는 $\mathcal{O}(\epsilon^{-1/(p+u-1)})$이며, 가속화 방법의 복잡도는 $\mathcal{O}(\epsilon^{-1/(p+u)})$임을 입증한다. $u$가 알려져 있지 않을 경우, 유니버설 방법은 $\mathcal{O}(\epsilon^{-p/[(p+1)(p+u-1)]})$의 복잡도를 달성하며, 이에 대응하는 하한 복잡도도 유도된다.

ABSTRACT

In this paper we study $p$-order methods for unconstrained minimization of convex functions that are $p$-times differentiable with $ u$-Holder continuous $p$th derivatives. We propose tensor schemes with and without acceleration. For the schemes without acceleration, we establish iteration complexity bounds of $\mathcal{O}\left(\epsilon^{-1/(p+ u-1)} ight)$ for reducing the functional residual below a given $\epsilon\in (0,1)$. Assuming that $ u$ is know, we obtain an improved complexity bound of $\mathcal{O}\left(\epsilon^{-1/(p+ u)} ight)$ for the corresponding accelerated scheme. For the case in which $ u$ is unknown, we present a universal accelerated tensor scheme with iteration complexity of $\mathcal{O}\left(\epsilon^{-p/[(p+1)(p+ u-1)]} ight)$. A lower complexity bound of $\mathcal{O}\left(\epsilon^{-2/[3(p+ u)-2]} ight)$ is also obtained for this problem class.

연구 동기 및 목표

• $p$-번 미분 가능하고 $u$-H"{o}lder 연속인 $p$차 도함수를 갖는 볼록 함수를 최소화하기 위한 효율적인 텐서 기반 최적화 방법을 개발하는 것.
• H"{o}lder 매개수 $u$에 대한 다양한 가정 하에 비가속화 및 가속화 텐서 계획법의 반복 복잡도 한계를 설정하는 것.
• 사전 지식 없이 $u$가 알려져 있지 않은 경우에도 적응 가능한 유니버설 가속화 텐서 계획법을 설계하는 것.
• 제안된 계획법의 최적성 검증을 위해 이론적 하한 복잡도를 유도하는 것.

제안 방법

• $p$-차 도함수의 H"{o}lder 연속성을 활용한 $p$-차 테일러 전개를 기반으로 하는 $p$-순서 텐서 방법을 제안한다.
• 기능 잔차를 $\epsilon$ 이하로 줄이기 위해 선 탐색 전략을 사용하는 비가속화 텐서 계획법을 도입한다.
• 가속화된 텐서 계획법은 모멘텀 유사 업데이트를 통합하여 수렴 속도를 향상시키며, 이는 $u$가 알려져 있을 경우를 전제로 한다.
• 사전 지식 없이 $u$가 알려져 있지 않은 경우에도 적응적으로 스텝 크기를 조정하는 유니버설 가속화 텐서 계획법을 설계한다.
• H"{o}lder 매개수 $u$를 기반으로 한 복잡도 분석을 통해 반복 횟수의 상한 및 하한을 도출한다.
• 다양한 $u$에 대한 가정 하에 비가속화, 가속화 및 유니버설 계획법을 비교할 수 있는 통합 프레임워크를 제공한다.

실험 결과

연구 질문

• RQ1 $p$-번 미분 가능하고 $u$-H"{o}lder 연속인 $p$차 도함수를 갖는 볼록 함수를 최소화하기 위해 $p$-순서 방법을 사용할 때 최적의 반복 복잡도는 무엇인가?
• RQ2 H"{o}lder 매개수 $u$가 알려져 있을 경우 가속화가 수렴 속도에 어떻게 기여하는가?
• RQ3 사전 지식 없이 $u$가 알려져 있지 않은 경우에도 수렴 속도를 저하시키지 않고 적응 가능한 유니버설 가속화 텐서 계획법을 설계할 수 있는가?
• RQ4 이 유형의 문제에 대해 반복 복잡도의 이론적 하한은 무엇인가?
• RQ5 기존의 $p$-순서 방법과 비교해보았을 때 제안된 계획법의 수렴 속도는 어떻게 되는가?

주요 결과

• 비가속화 텐서 계획법은 기능 잔차를 $\epsilon$ 이하로 줄이기 위해 $\mathcal{O}(\epsilon^{-1/(p+u-1)})$의 반복 복잡도를 달성한다.
• $u$가 알려져 있을 경우, 가속화 텐서 계획법은 복잡도를 $\mathcal{O}(\epsilon^{-1/(p+u)})$로 향상시킨다.
• $u$가 알려져 있지 않은 경우, 유니버설 가속화 계획법은 $\mathcal{O}(\epsilon^{-p/[(p+1)(p+u-1)]})$의 복잡도를 확보한다.
• 일치하는 하한 복잡도 $\mathcal{O}(\epsilon^{-2/[3(p+u)-2]})$가 유도되어 제안된 계획법의 최적성임을 입증한다.
• 결과는 고차 미분 가능성($u$-H"{o}lder 연속성)이 텐서 방법의 수렴 속도를 크게 향상시킨다는 것을 보여준다.
• 유니버설 계획법은 $u$에 대한 사전 지식 없이도 거의 최적의 성능을 달성하여 실용적 응용에 있어 강건함을 입증한다.