[논문 리뷰] Accelerated Stochastic Mirror Descent Algorithms For Composite Non-strongly Convex Optimization

Le Thi Khanh Hien, Cuong V. Nguyen외 3명|arXiv (Cornell University)|2016. 05. 23.

Stochastic Gradient Optimization Techniques참고 문헌 26인용 수 17

한 줄 요약

이 논문은 복합 비강凸 최적화 문제를 위한 가속화된 스 tochastic 미러 강하 알고리즘을 제안하며, 이는 제곱형 정규화가 필요로 하는 것을 피한다. Tseng의 결정론적 가속화된 프록시멀 그라디언트 방법을 확장하여 무작위 설정에 적용함으로써, 제안된 알고리즘은 $O(1/k^2)$의 최적 수렴 속도를 달성하며, 파rameter 조정을 통해 복잡도를 향상시킨다.

ABSTRACT

We consider the problem of minimizing the sum of the average function consisting of a large number of smooth convex component functions and a general convex function that can be non-differentiable. Although many methods have been proposed to solve the problem with the assumption that the sum is strongly convex, few methods support the non-strongly convex cases. Adding a small quadratic regularization is the common trick used to tackle non-strongly convex problems; however, it may worsen certain qualities of solutions or weaken the performance of the algorithms. Avoiding this trick, we extend the deterministic accelerated proximal gradient methods of Paul Tseng to randomized versions for solving the problem without the strongly convex assumption. Our algorithms achieve the optimal convergence rate $O( icefrac{1}{k^2})$. Tuning involved parameters helps our algorithms get better complexity compared with the deterministic accelerated proximal gradient methods. We also propose a scheme for non-smooth problem.

연구 동기 및 목표

• 부드러운 성분이 비강凸이고, 정규화 항이 일반적이며 가능하면 미분 불가능한 복합 최적화 문제를 다루는 것.
• 해결 품질이나 알고리즘 성능을 떨어뜨릴 수 있는 제곱형 정규화가 필요로 하는 것을 제거하는 것.
• 비강凸 가정 하에 결정론적 가속화된 프록시멀 그라디언트 방법을 확장하여 확률적, 무작위 설정에 적용하는 것.
• 강凸성에 의존하지 않고 최적 수렴 속도를 달성하는 것.
• 제안된 프레임워크 내에서 비연속 문제에 적용 가능한 체계를 개발하는 것.

제안 방법

• 대규모 복합 최적화를 위한 무작위적, 확률적 설정으로 Paul Tseng의 결정론적 가속화된 프록시멀 그라디언트 방법을 적응시킴.
• 강凸성 조건이 필요 없이도 가속화를 유지하는 무작위적 미러 강하 프레임워크를 도입함.
• 각 반복에서 성분의 부분집합을 사용하여 부드러운 성분 함수의 그라디언트를 스 tochastic 근사함.
• 최적화 하위문제에서 비연속적이며 일반적인 볼록 정규화 항을 처리하기 위해 프록시멀 옵저레이터를 사용함.
• 결정론적 대비 방법에 비해 반복 복잡도를 향상시키기 위해 알고리즘 파라미터를 조정함.
• 목적 함수 내 비연속 성분을 다루기 위한 특수한 체계를 제안함.

실험 결과

연구 질문

• RQ1 가속화된 스 tochastic 미러 강하가 제곱형 정규화 없이 비강凸 복합 문제에 대해 최적 수렴을 달성할 수 있는가?
• RQ2 파라미터 조정이 제안된 스 tochastic 가속화 알고리즘의 반복 복잡도에 어떤 영향을 미치는가?
• RQ3 비강凸 가정 하에 제안된 무작위 알고리즘의 수렴 속도는 어떠한가?
• RQ4 이 프레임워크는 비연속 정규화 항을 효과적으로 다룰 수 있는가?
• RQ5 수렴 속도와 복잡도 측면에서 스 tochastic 방법은 결정론적 가속화 방법에 비해 어떻게 성능이 다른가?

주요 결과

• 제안된 알고리즘은 복합 비강凸 문제에 대해 최적 수렴 속도인 $O(1/k^2)$를 달성한다.
• 이 방법은 제곱형 정규화를 피함으로써 해의 품질을 유지하고 성능 저하를 방지한다.
• 파라미터 조정을 통해 결정론적 가속화된 프록시멀 그라디언트 방법 대비 반복 복잡도가 향상된다.
• 제안된 체계를 통해 비연속 문제에 적용 가능한 알고리즘이다.
• 무작위 변형은 강凸성이 없더라도 가속화와 수렴 보장을 유지한다.
• 이론적 수렴 속도는 결정론적 가속화 방법의 최고 수준의 속도와 일치하지만, 스 tochastic 설정에서 성립한다.