[논문 리뷰] More Efficient Accelerated Proximal Algorithm for Nonconvex Problems

Quanming Yao, James T. Kwok|arXiv (Cornell University)|2016. 12. 29.

Sparse and Compressive Sensing Techniques인용 수 4

한 줄 요약

이 논문은 비볼록 최적화를 위한 더 효율적인 가속화된 프락시멀 그라디언트(APG) 알고리즘을 제안하며, 반복마다 오직 한 번의 비정확한 프락시멀 단계만 필요로 하여 임계점으로의 수렴과 O(1/k) 수렴 속도를 보장한다. 기존의 APG 변종에 비해 계산 비용을 크게 줄이며 동시에 최신 예측 성능을 달성한다.

ABSTRACT

The accelerated proximal gradient (APG) algorithm is a popular optimization tool in machine learning. Though originally designed for convex problems, there is growing interest in extending it for nonconvex problems. Recent examples include the monotone and nonmonotone APG algorithms in \cite{li2015accelerated}. However, each iteration requires more than one proximal steps. This can be computationally demanding when the proximal step has no closed-form solution or when the solution is expensive. In this paper, we propose an efficient APG algorithm for nonconvex problems. In each iteration, it requires only one inexact (less expensive) proximal step. Convergence to a critical point is still guaranteed, and a $O(1/k)$ convergence rate is derived. Experimental results on various machine learning problems demonstrate that the proposed algorithm has comparable prediction performance as the state-of-the-art, but is much faster.

연구 동기 및 목표

• 비볼록 문제에 대한 기존의 가속화된 프락시멀 그라디언트(APG) 방법은 반복마다 다수의 비용이 많이 드는 프락시멀 단계를 필요로 하여 계산 비용이 높다는 문제를 해결하기 위해.
• 반복 복잡도를 줄이며 수렴 보장을 유지하는 효율적인 APG 변종을 개발하기 위해.
• 반복마다 오직 한 번의 비정확한 프락시멀 단계만 사용함으로써 임계점으로의 수렴을 보장하기 위해.
• 최소한의 계산 오버헤드로 비볼록 문제에 대해 이론적으로 O(1/k) 수렴 속도를 확보하기 위해.
• 기계 학습 작업에서 예측 성능을 손상시키지 않고 실증적으로 빠른 속도를 확보하기 위해.

제안 방법

• 비볼록 최적화를 위한 새로운 APG 프레임워크를 제안하며, 반복마다 오직 한 번의 비정확한 프락시멀 단계만 사용하여 계산 부담을 감소시킨다.
• 목적 함수의 충분한 감소를 보장하기 위해 선 탐색 전략을 도입하여, 최소한의 반복 비용으로도 수렴을 가능하게 한다.
• 정확한 프락시멀 하위문제를 해결하지 않기 때문에, 닫힌 형태 해가 없는 문제에 적합한 비정확한 프락시멀 단계를 활용한다.
• APG의 모멘타움 메커니즘을 유지하면서도, 약한 가정 하에 전역 수렴을 보장한다.
• 비볼록 문제에 대해 O(1/k) 수렴 속도를 유도하며, 이러한 방법들 중 최고의 알려진 속도와 일치시킨다.
• 이론적 보장을 유지하면서도 비용이 많이 드는 하위문제 해법을 최소화하여 실용적으로 효율적인 알고리즘을 설계한다.

실험 결과

연구 질문

• RQ1 비볼록 APG 알고리즘을 반복마다 오직 한 번의 비정확한 프락시멀 단계만 사용하면서도 임계점으로의 수렴을 보장할 수 있는가?
• RQ2 이러한 한 단계 APG 방법의 비볼록 문제에 대한 이론적 수렴 속도는 무엇인가?
• RQ3 실제로 이 방법의 계산 효율성은 기존의 다중 프락시멀 단계를 요구하는 APG 변종에 비해 어떻게 비교되는가?
• RQ4 제안된 방법은 실제 기계 학습 작업에서 최신 기술 수준의 알고리즘과 유사한 예측 성능을 유지하는가?
• RQ5 비볼록 최적화에서 솔루션 품질을 손상시키지 않고 더 빠른 수렴 속도를 달성할 수 있는가?

주요 결과

• 제안된 알고리즘은 비볼록 문제에 대해 O(1/k) 수렴 속도를 달성하며, APG 방법 중 최고의 알려진 속도와 일치한다.
• 오직 한 번의 비정확한 프락시멀 단계만 사용함에도 불구하고, 알고리즘은 여전히 임계점으로 수렴한다.
• 기존의 다수의 프락시멀 단계를 요구하는 APG 변종에 비해 상당히 더 빠른 수렴 속도를 보인다.
• 다양한 기계 학습 문제에서 제안된 방법은 최신 기술 수준의 방법과 유사한 예측 성능을 달성한다.
• 프락시멀 단계가 계산적으로 비용이 많이 들거나 닫힌 형태 해가 없는 경우에 특히 유리하다.
• 실증 결과는 반복 비용 감소가 솔루션 품질 손실 없이 상당한 속도 향상을 이끌어낸다는 것을 확인한다.