[논문 리뷰] Inexact Tensor Methods with Dynamic Accuracies

Nikita Doikov, Yurii Nesterov|arXiv (Cornell University)|2020. 02. 21.

Stochastic Gradient Optimization Techniques참고 문헌 42인용 수 6

한 줄 요약

이 논문은 복합 목표 함수를 갖는 볼록 최적화를 위한 동적 비정확 텐서 방법을 제안하며, 반복 단계에 따라 적응적으로 감소하는 잔차 기반 정확도 규칙을 사용한다. 정확한 경우와 동일한 전역 수렴 속도를 확립하고, 고차수 방법에 대해 국소 초선형 수렴 속도를 달성하며, 기계 학습 문제에서 수치적으로 복잡도 한계를 검증한다.

ABSTRACT

In this paper, we study inexact high-order Tensor Methods for solving convex optimization problems with composite objective. At every step of such methods, we use approximate solution of the auxiliary problem, defined by the bound for the residual in function value. We propose two dynamic strategies for choosing the inner accuracy: the first one is decreasing as $1/k^{p + 1}$, where $p \geq 1$ is the order of the method and $k$ is the iteration counter, and the second approach is using for the inner accuracy the last progress in the target objective. We show that inexact Tensor Methods with these strategies achieve the same global convergence rate as in the error-free case. For the second approach we also establish local superlinear rates (for $p \geq 2$), and propose the accelerated scheme. Lastly, we present computational results on a variety of machine learning problems for several methods and different accuracy policies.

연구 동기 및 목표

• 고차수 최적화의 계산 비용을 줄이기 위해 정확한 하위문제 해를 허용하지 않으면서도 수렴 속도를 유지하는 방법을 제안한다.
• 목표 함수의 진전에 따라 정밀도를 적응적으로 조정하는 비정확 텐서 방법을 위한 동적 정확도 전략을 개발한다.
• 정확한 경우와 동일한 전역 수렴 속도와 강력한 볼록 문제에 대해 고차수 방법의 국소 초선형 수렴 속도를 확립한다.
• 함수값 잔차 정확도를 갖는 비정확 텐서 방법에 대해 복잡도 보장을 제공하고 가속화된 방법을 제시한다.
• 다양한 정확도 정책 하에서 기계 학습 문제에 대해 제안된 방법의 실증적 성능을 검증한다.

제안 방법

• 두 가지 동적 정확도 규칙을 도입한다: $\delta_k := 1/k^{p+1}$ 및 $\delta_k := c \cdot (F(x_{k-2}) - F(x_{k-1}))$이며, 여기서 $p \geq 1$은 방법의 차수이고 $c \geq 0$은 상수이다.
• 하위문제 해의 비정확도 측정으로서 함수값의 잔차를 사용하여 실용적인 구현을 가능하게 한다.
• 단조 비정확 텐서 방법 I 및 II, 그리고 평균화를 적용한 비정확 텐서 방법을 제안하며, 모두 $\varepsilon$-정밀도에 대해 전역 $O(1/\varepsilon^{1/p})$ 복잡도를 갖는다.
• Contracting Proximal 반복을 사용한 가속화된 방법을 개발하며, $\zeta_k := 1/k^{p+2}$를 통해 $\tilde{O}(1/\varepsilon^{1/(p+1)})$ 복잡도를 달성한다.
• 연속적인 부등식과 고차수 도함수의 리프시츠 조건을 사용하여 수렴성 및 복잡도 한계를 유도한다.
• 하위문제 해결을 위한 단조 비정확 텐서 단계를 사용하며, 함수값 감소를 통해 잔차 오차를 제어한다.

실험 결과

연구 질문

• RQ1 동적 정확도 규칙을 사용할 때 비정확 텐서 방법이 정확한 경우와 동일한 전역 수렴 속도를 유지할 수 있는가?
• RQ2 목표 함수의 진전에 기반한 동적 정확도 규칙이 $p \geq 2$일 때 국소 초선형 수렴을 이끌어낼 수 있는가?
• RQ3 가속화된 비정확 텐서 방법은 표준 비정확 방법에 비해 향상된 복잡도 한계를 달성할 수 있는가?
• RQ4 다양한 동적 정확도 정책이 기계 학습 문제에서 실용적 성능에 어떤 영향을 미치는가?
• RQ5 고차수 방법의 전역 수렴 속도를 유지하기 위해 하위문제 해의 최소 필요 정밀도는 얼마인가?

주요 결과

• 동적 정확도 규칙 $\delta_k := 1/k^{p+1}$는 정확한 경우와 동일한 속도 $O(1/\varepsilon^{1/p})$로 전역 수렴을 보장한다.
• 규칙 $\delta_k := c \cdot (F(x_{k-2}) - F(x_{k-1}))$는 전역 $O(1/\varepsilon^{1/p})$ 복잡도와 균일한 볼록성 하에서 선형 수렴 속도를 달성한다.
• $\delta_k := c \cdot (F(x_{k-2}) - F(x_{k-1}))^{(p+1)/2}$일 경우, 강력한 볼록 목표 함수에서 $p \geq 2$에 대해 국소 초선형 수렴이 확립된다.
• 가속화된 비정확 텐서 방법은 $\tilde{O}(1/\varepsilon^{1/(p+1)})$ 복잡도를 달성하여 표준 비정확 방법보다 향상된 복잡도 한계를 확보한다.
• 수치 결과는 다양한 기계 학습 문제에서 동적 정확도 정책의 효과성을 확인한다.
• 복잡도 한계는 연속적인 부등식과 고차수 도함수의 리프시츠 연속성에 기반하며, 조건 수는 절대 상수로 유계이다.