[논문 리뷰] Convergence Rates of Inexact Proximal-Gradient Methods for Convex Optimization

Mark Schmidt, Nicolas Le Roux외 1명|arXiv (Cornell University)|2011. 09. 12.

Sparse and Compressive Sensing Techniques참고 문헌 39인용 수 266

한 줄 요약

이 논문은 비선형 최적화를 위한 비정확한 프록시멀-그래디언트 방법이 기울기와 프록시멀 연산자 오차가 적절한 비율로 감소할 경우 정확한 방법과 동일한 수렴 속도를 유지함을 규명한다. 기초 및 가속된 프록시멀-그래디언트 알고리즘 모두 제어된 오차 조건 하에서 각각 $O(1/k)$ 및 $O(1/k^2)$ 수렴 속도를 달성함을 증명하며, 계산 비용이 높은 프록시멀 연산자를 가진 비미분 가능 문제의 효율적 해결을 가능하게 한다.

ABSTRACT

We consider the problem of optimizing the sum of a smooth convex function and a non-smooth convex function using proximal-gradient methods, where an error is present in the calculation of the gradient of the smooth term or in the proximity operator with respect to the non-smooth term. We show that both the basic proximal-gradient method and the accelerated proximal-gradient method achieve the same convergence rate as in the error-free case, provided that the errors decrease at appropriate rates.Using these rates, we perform as well as or better than a carefully chosen fixed error level on a set of structured sparsity problems.

연구 동기 및 목표

• 기울기 또는 프록시멀 연산자 계산에서 오차가 존재할 경우 비정확한 프록시멀-그래디언트 방법의 수렴 행동을 분석하는 것.
• 비정확한 방법이 볼록 및 강볼록 문제에서 정확한 방법과 동일한 수렴 속도를 달성할 수 있는 조건을 설정하는 것.
• 제어된 오차 감쇠가 구조적 희박성 문제에서 고정된 오차 수준보다 성능이 동등하거나 뛰어나게 하는지를 보여주는 것.
• 대규모 비미분 가능 최적화에서 비정확한 방법의 경험적 성공에 대한 이론적 근거를 제공하는 것.

제안 방법

• 기울기 오차 $\|e_k\|$ 및 프록시멀 연산자 오차 $\varepsilon_k$ 가 유계인 비정확한 프록시멀-그래디언트 방법을 제안한다.
• 오차 항을 포함하는 재귀 부등식을 통해 최적해와의 거리 $\|v_k - x^*\|$ 를 유도하기 위해 리아푸노프 함수 접근법을 사용한다.
• 강한 성장 성질 $\|v_k - x^*\|^2 \leq \frac{2\delta_k}{\mu}$ 와 오차 감쇠 비율을 활용해 볼록 및 강볼록 케이스의 수렴 경계를 유도한다.
• 오차 항 $\|e_k\|$ 와 $\varepsilon_k$ 를 기하급수 감쇠 요소 $\left(1 - \sqrt{\mu/L}\right)^k$ 를 통해 수렴 속도와 연결하는 핵심 부등식(식 21)을 도입한다.
• 레마 1을 적용하여 최적해와의 거리 상한을 도출하고, 최종 수렴 속도를 $\widehat{A}_k$, $\widehat{B}_k$, 그리고 초기 오차 $\delta_0$ 로 표현한다.
• 기울기 오차 $\|e_k\|$ 와 프록시멀 오차 $\varepsilon_k$ 가 충분히 빠르게 감쇠할 경우 함수 값 오차 $f(x_k) - f(x^*)$ 는 정확한 경우와 동일한 속도로 감소함을 증명한다.

실험 결과

연구 질문

• RQ1 기울기 또는 프록시멀 연산자 계산에서 오차가 존재할 경우 비정확한 프록시멀-그래디언트 방법이 정확한 방법과 동일한 수렴 속도를 유지할 수 있는가?
• RQ2 기초 및 가속된 방법에 대해 각각 $O(1/k)$ 및 $O(1/k^2)$ 수렴 속도를 유지하기 위해 필요한 기울기 및 프록시멀 오차의 특정 감쇠 비율은 무엇인가?
• RQ3 구조적 희박성 문제에서 오차 제어 전략은 고정된 오차 수준과 비교해 실제로 어떻게 성능을 발휘하는가?
• RQ4 볼록 및 강볼록 설정에서 비정확한 방법이 정확한 방법과 동일한 이론적 수렴 속도를 달성할 수 있는 조건는 무엇인가?
• RQ5 이론적 오차 경계는 비미분 가능 최적화에서 비정확한 프록시멀 방법의 실용적 구현을 안내하는 데 사용될 수 있는가?

주요 결과

• 기초 비정확한 프록시멀-그래디언트 방법은 기울기 및 프록시멀 오차가 적절히 감쇠할 경우 볼록 문제에서 $O(1/k)$ 수렴 속도를 달성한다.
• 가속된 비정확한 프록시멀-그래디언트 방법은 동일한 오차 감쇠 조건 하에서 동일한 수렴 속도를 달성하며, 정확한 가속 방법의 최적 수렴 속도를 재현한다.
• 강볼록 문제에서는 $\|e_k\|$ 와 $\varepsilon_k$ 가 오차 항 $\widehat{A}_k$ 와 $\widehat{B}_k$ 가 유계이도록 감쇠할 경우 수렴 속도가 선형이며, 요소 $\left(1 - \sqrt{\mu/L}\right)^k$ 를 포함한다.
• 함수 값 오차는 $f(x_k) - f(x^*) \leq \left(1 - \sqrt{\mu/L}\right)^k \left( \sqrt{2(f(x_0) - f(x^*))} + \widehat{A}_k \sqrt{2/\mu} + \sqrt{\widehat{B}_k} \right)^2$ 를 만족하며, 이는 정확한 방법과 동일한 점 渐진 수렴 속도를 보장한다.
• 경험적 결과는 적응형 오차 제어가 구조적 희박성 문제에서 고정 오차 수준보다 뛰어난 성능을 발휘함을 보여주며, 이론적 결과를 검증한다.
• 분석 결과, 오차가 감쇠 오차 허용 범위를 통해 제어될 경우 비미분 가능 정규화(예: 총 변동량 및 핵 범수)를 포함한 문제에서도 비정확한 방법이 정확한 방법과 동일한 효율성을 발휘할 수 있음을 확인한다.