[논문 리뷰] A Stochastic Tensor Method for Non-convex Optimization

Aurélien Lucchi, Jonas Köhler|arXiv (Cornell University)|2019. 11. 23.

Tensor decomposition and applications참고 문헌 55인용 수 9

한 줄 요약

이 논문은 비볼록 최적화를 위한 확률적 텐서 방법을 제안하며, 부분 샘플링된 네째계수 정규화 모델을 사용하여 삼차 임계점을 찾는다. 유한합 구조에 맞게 특화된 새로운 텐서 농도 부등식을 유도함으로써, 반복 복잡도가 $\mathcal{O}(\max(\epsilon_1^{-4/3}, \epsilon_2^{-2}, \epsilon_3^{-4}))$로 결정되며, 이는 결정론적 방법의 비율과 일치한다.

ABSTRACT

We present a stochastic optimization method that uses a fourth-order regularized model to find local minima of smooth and potentially non-convex objective functions with a finite-sum structure. This algorithm uses sub-sampled derivatives instead of exact quantities. The proposed approach is shown to find an $(\epsilon_1,\epsilon_2,\epsilon_3)$-third-order critical point in at most $\bigO\left(\max\left(\epsilon_1^{-4/3}, \epsilon_2^{-2}, \epsilon_3^{-4} ight) ight)$ iterations, thereby matching the rate of deterministic approaches. In order to prove this result, we derive a novel tensor concentration inequality for sums of tensors of any order that makes explicit use of the finite-sum structure of the objective function.

연구 동기 및 목표

• 부드럽고 비볼록인 유한합 문제에서 국소 최솟값을 효율적으로 찾는 확률적 최적화 방법을 개발하는 것.
• 정확한 도함수 대신 부분 샘플링된 도함수를 사용함에도 불구하고 결정론적 방법과 동일한 수렴 속도를 달성하는 것.
• 확률적 근사 하에 $(\epsilon_1, \epsilon_2, \epsilon_3)$-삼차 임계점 찾기에 대한 이론적 보장을 수립하는 것.
• 유한합 구조의 목적 함수를 고려하여 명시적으로 반영하는 새로운 텐서 농도 부등식을 유도하는 것.

제안 방법

• 목적 함수를 근사하기 위해 네째계수 정규화 모델을 사용하여 고차 최적화를 가능하게 한다.
• 계산 비용을 줄이기 위해 정확한 기울기와 고차 텐서 대신 부분 샘플링된 도함수를 사용한다.
• 부분 샘플링된 텐서가 기대값에서 벗어나지 않도록 제어하기 위해 새로운 텐서 농도 부등식을 유도한다.
• 반복적으로 정규화된 부분 샘플링 모델을 사용하여 해를 갱신함으로써 삼차 임계점으로의 수렴을 보장한다.
• 기계학습에서 흔한 부드럽고 비볼록 목적 함수의 유한합 구조를 다룰 수 있도록 설계된다.
• 이론적 분석은 유한합 구조를 활용하여 최적의 반복 복잡도를 달성한다.

실험 결과

연구 질문

• RQ1 비볼록 유한합 최적화 문제에서 확률적 텐서 방법이 결정론적 접근과 동일한 수렴 속도를 달성할 수 있는가?
• RQ2 비볼록 환경에서 부분 샘플링된 도함수를 사용하여 고차 정보를 효율적으로 근사할 수 있는가?
• RQ3 유한합 목적 함수의 경우 부분 샘플링된 고차 텐서의 오차를 제어하기 위해 필요한 새로운 농도 부등식은 무엇인가?
• RQ4 이 방법은 최적의 반복 복잡도로 $(\epsilon_1, \epsilon_2, \epsilon_3)$-삼차 임계점을 찾을 수 있는가?

주요 결과

• 알고리즘은 최대 $\mathcal{O}(\max(\epsilon_1^{-4/3}, \epsilon_2^{-2}, \epsilon_3^{-4}))$회의 반복 내에 $(\epsilon_1, \epsilon_2, \epsilon_3)$-삼차 임계점을 찾는다.
• 정확한 기울기 대신 부분 샘플링된 도함수를 사용함에도 불구하고 수렴 속도가 결정론적 방법과 일치한다.
• 목적 함수의 유한합 구조를 명시적으로 활용하는 새로운 텐서 농도 부등식이 유도되었다.
• 고차 정규화 모델을 사용하여 비볼록 유한합 문제에 대해 최적의 반복 복잡도를 달성한다.
• 이론적 분석은 도함수의 부분 샘플링 하에 접근의 강건성을 확인한다.