[논문 리뷰] Fast dual proximal gradient algorithms with rate $O(1/k^{1.5})$ for convex minimization

Donghwan Kim, Jeffrey A. Fessler|arXiv (Cornell University)|2016. 09. 29.

Sparse and Compressive Sensing Techniques참고 문헌 12인용 수 5

한 줄 요약

이 논문은 복합 볼록 함수를 최소화하기 위해 강한 볼록성을 가진 성분을 포함하는 경우, $O(1/k^{1.5})$ 수렴 속도를 달성하는 일반화된 빠른 이중 프락시멀 그라디언트(GFDPG) 알고리즘을 제안한다. 일반화된 가속 프락시멀 그라디언트 방법(GFPGM)을 이중 문제에 통합함으로써, 표준 FDPG 방법이 가지는 $O(1/k)$ 속도보다 더 빠른 이중 프락시멀 그라디언트 노름 감소를 가속화하며, 이는 직접적으로 더 빠른 원래 함수 감소로 이어진다.

ABSTRACT

We consider minimizing the composite function that consists of a strongly convex function and a convex function. The fast dual proximal gradient (FDPG) method decreases the dual function with a rate $O(1/k^2)$, leading to a rate $O(1/k)$ for decreasing the primal function. We propose a generalized FDPG method that guarantees an $O(1/k^{1.5})$ rate for the dual proximal gradient norm decrease. By relating this to the primal function decrease, the proposed approach decreases the primal function with the improved $O(1/k^{1.5})$ rate.

연구 동기 및 목표

• 강한 볼록 함수를 포함하는 복합 볼록 최적화 문제에 대해, 기존의 이중 기반 프락시멀 그라디언트 방법의 수렴 속도를 향상시키는 것.
• 복합 볼록 문제에서 이중 프락시멀 그라디언트 노름의 감소와 원래 함수 감소 사이의 관계를 설정하는 것.
• 원래 함수에 대해 더 빠른 $O(1/k^{1.5})$ 수렴 속도를 달성하는 일반화된 빠른 이중 프락시멀 그라디언트(GFDPG) 방법을 개발하는 것.
• Nesterov와 Necoara의 분석을 강한 볼록성 조건이 있는 일반 복합 문제로 확장하는 것.
• 강한 볼록성 매개수 $\sigma$가 알려져 있거나 추정하기 어려운 경우를 대비해 백트래킹 기반 기법을 통합하는 것.

제안 방법

• 이중 문제로의 변환을 통해 원래 복합 문제를 라그랑주 이중성 기반으로 재구성하며, 이때 한 성분의 강한 볼록성을 활용한다.
• 기존 FDPG 방법에서 사용하는 표준 FISTA 가속 기법 대신 일반화된 가속 프락시멀 그라디언트 방법(GFPGM)을 이중 문제에 적용한다.
• GFPGM는 이중 프락시멀 그라디언트 노름 감소에 대해 $O(1/k^{1.5})$ 속도를 보장하며, 이는 원래 함수 감소 속도와 직접적으로 관련이 있음을 입증한다.
• 수열 $\mathbf{y}_k$, $\mathbf{w}_k$, $\mathbf{s}_k$와 매개수 $T_k$, $t_k$, $L_k$를 포함하는 재귀 부등식 기반의 수축합(sum) 추론을 사용한다.
• 강한 볼록성 매개수 $\sigma$가 알려져 있지 않거나 추정하기 어려운 경우에도 $O(1/k^{1.5})$ 수렴 속도를 유지하기 위해 백트래킹 기법을 통합한다.
• 프락시멀 옵저버의 성질과 강한 볼록성의 특성을 활용하여 핵심 부등식을 유도하며, 이는 원래 함수 오차와 해에 대한 반복값의 거리에 대한 경계를 도출한다.

실험 결과

연구 질문

• RQ1 강한 볼록성을 포함하는 복합 볼록 문제에 대해, 이중 기반 프락시멀 그라디언트 방법의 수렴 속도를 $O(1/k)$를 초월하여 향상시킬 수 있는가?
• RQ2 이러한 문제에서 이중 프락시멀 그라디언트 노름 감소와 원래 함수 오차 사이에 직접적인 연결 고리가 존재하는가?
• RQ3 일반화된 FPGM(GFPGM)을 이중성과 효과적으로 조합하여 원래 함수 감소 속도를 $O(1/k^{1.5})$로 빠르게 만들 수 있는가?
• RQ4 강한 볼록성 매개수 $\sigma$가 알려져 있거나 근사적으로 추정되는 경우에도 제안된 GFDPG 방법이 향상된 수렴 속도를 유지하는가?
• RQ5 실제 적용에서 표준 FDPG 및 FISTA 기반 방법과 비교해 복합 볼록 최적화 문제에서 제안된 방법의 수렴 속도는 어떠한가?

주요 결과

• 제안된 GFDPG 방법은 원래 함수 감소 속도로 $O(1/k^{1.5})$를 달성하며, 기존 표준 FDPG 방법의 $O(1/k)$ 속도를 초월한다.
• 이중 프락시멀 그라디언트 노름 감소 속도가 원래 함수 오차와 직접적으로 연결되어 있음을 입증하여, 향상된 수렴 속도 유도가 가능하다.
• 강한 볼록성 매개수 $\sigma$가 알려져 있지 않은 경우에도 백트래킹 기법을 통합함으로써 $O(1/k^{1.5})$ 수렴 속도를 유지한다.
• 또한 표준 FDPG 방법과 동일한 $O(1/k)$ 수렴 속도를 보장하는 원래 함수 감소 경계도 이론적으로 증명하였다.
• 이론적 분석을 통해 재귀 부등식의 수축합이 최적 해에 대한 반복값 거리의 경계를 통해 $O(1/k^{1.5})$ 수렴 속도로 이어짐을 확인하였다.
• 알고리즘은 계산적으로 효율적이며, FISTA와 동일한 복잡도를 가지므로, 이미지 노이즈 제거 및 모델 예측 제어와 같은 대규모 응용 분야에 실용적으로 적용 가능하다.