[논문 리뷰] A Randomized Nonmonotone Block Proximal Gradient Method for a Class of Structured Nonlinear Programming

Zhaosong Lu, Lin Xiao|arXiv (Cornell University)|2013. 06. 25.

Sparse and Compressive Sensing Techniques참고 문헌 43인용 수 12

한 줄 요약

이 논문은 매끄럽고(비볼록일 수 있음) 블록 분리 가능한 비매끄럽고(비볼록일 수 있음) 함수를 포함하는 구조적 비선형 프로그래밍 문제를 해결하기 위해 랜덤화된 비단조도 블록 프락시멀 그래디언트(RNBPG) 방법을 제안한다. 이 방법은 국소 곡률에 기반한 가변 스텝사이즈와 비단조도 선형 탐색을 사용하여, 정적 점에 거의 확실하게 수렴하고 하향 수렴 속도를 달성하며, 경험적 결과로 기존의 랜덤화된 블록 좌표 방법보다 뛰어난 성능을 보인다.

ABSTRACT

We propose a randomized nonmonotone block proximal gradient (RNBPG) method for minimizing the sum of a smooth (possibly nonconvex) function and a block-separable (possibly nonconvex nonsmooth) function. At each iteration, this method randomly picks a block according to any prescribed probability distribution and solves typically several associated proximal subproblems that usually have a closed-form solution, until a certain progress on objective value is achieved. In contrast to the usual randomized block coordinate descent method [23,20], our method has a nonmonotone flavor and uses variable stepsizes that can partially utilize the local curvature information of the smooth component of objective function. We show that any accumulation point of the solution sequence of the method is a stationary point of the problem {\it almost surely} and the method is capable of finding an approximate stationary point with high probability. We also establish a sublinear rate of convergence for the method in terms of the minimal expected squared norm of certain proximal gradients over the iterations. When the problem under consideration is convex, we show that the expected objective values generated by RNBPG converge to the optimal value of the problem. Under some assumptions, we further establish a sublinear and linear rate of convergence on the expected objective values generated by a monotone version of RNBPG. Finally, we conduct some preliminary experiments to test the performance of RNBPG on the $\ell_1$-regularized least-squares problem and a dual SVM problem in machine learning. The computational results demonstrate that our method substantially outperforms the randomized block coordinate {\it descent} method with fixed or variable stepsizes.

연구 동기 및 목표

• 비볼록 최적화에서 단조롭고 고정 스텝사이즈를 갖는 랜덤화된 블록 좌표 방법의 한계를 해결하기 위해.
• 국소 곡률 정보를 활용하는 가변 스텝사이즈를 도입하여 실용적 성능을 향상시키기 위해.
• 비볼록 환경에서 해의 품질을 향상시키기 위해 비단조도 선형 탐색 전략을 개발하기 위해.
• 유사한 가정 조건 하에 비볼록 문제에 대한 수렴 보장을 확립하기 위해.
• 경험적으로 제안된 방법이 반복 횟수와 계산 시간 측면에서 기존의 랜덤화된 블록 좌표 방법보다 뛰어나다는 것을 입증하기 위해.

제안 방법

• 각 반복에서 주어진 확률 분포에 따라 랜덤으로 블록이 선택된다.
• 충분한 목적 함수 값의 진전이 이루어질 때까지 선택된 블록에 대해 다수의 프락시멀 하위문제를 해결한다.
• 임시적으로 목적 함수 값이 증가하는 것을 允허하는 비단조도 선형 탐색 전략을 사용하여 낮은 국소 최소값에서 벗어나도록 한다.
• 국소 곡률 정보를 활용하기 위해 스펙트럴 유형 전략에 의해 초기화된 가변 스텝사이즈를 사용한다.
• 다른 블록은 고정한 채로 선택된 블록만 업데이트하며, 부분 미분과 블록별 리프시츠 상수를 포함하는 프락시멀 하위문제 설정을 사용한다.
• 수렴 분석은 기울기의 좌표별 리프시츠 연속성과 최적 해 집합의 비어 있지 않은 조건 하에 수행된다.

실험 결과

연구 질문

• RQ1 비단조도 선형 탐색과 가변 스텝사이즈를 갖는 랜덤화된 블록 좌표 방법이 비볼록 환경에서 단조적 대안보다 더 나은 수렴성과 해 품질을 달성할 수 있는가?
• RQ2 국소 곡률에 기반한 가변 스텝사이즈의 사용이 블록 좌표 방법의 실용적 성능을 향상시키는가?
• RQ3 비볼록 구조 문제에 대해 제안된 RNBPG 방법의 이론적 수렴 성질은 무엇인가?
• RQ4 반복 횟수와 계산 시간 측면에서 고정 스텝사이즈 및 단조적 변형 대비 이 방법은 어떻게 성능을 내는가?
• RQ5 L1-정규화된 최소 제곱 문제와 이중 서포트 벡터 머신 문제와 같은 대규모 머신 러닝 문제에서 더 빠른 수렴을 달성할 수 있는가?

주요 결과

• RNBPG가 생성한 해 수열의 임의의 집적점은 거의 확실하게 문제의 정적 점이다.
• 이 방법은 반복 횟수에 대한 최소 기대 제곱 프락시멀 기울기 노름의 하향 수렴 속도를 달성한다.
• 볼록 문제의 경우, RNBPG가 생성한 기대 목적 함수 값은 최적 값으로 수렴한다.
• 추가적인 가정 하에, RNBPG의 단조적 변형은 기대 목적 함수 값에 대해 하향 수렴 속도와 선형 수렴 속도를 모두 달성한다.
• 수치 실험에서 RNBPG는 반복 횟수와 계산 시간 측면에서 고정 스텝사이즈 및 가변 스텝사이즈 랜덤화된 블록 좌표 하강 방법 양쪽 모두를 뛰어넘었다.
• RCV1 및 News20 데이터셋에서 RNBPG는 더 큰 블록 크기에서 특히 더 빠른 수렴을 달성했으며, 적절하게 블록 크기를 선택한 경우 12코어 시스템에서 더 적은 계산 시간을 사용했다.