[논문 리뷰] On the acceleration of the double smoothing technique for unconstrained convex optimization problems

Radu Ioan Boţ, Christopher Hendrich|arXiv (Cornell University)|2012. 05. 03.

Sparse and Compressive Sensing Techniques참고 문헌 3인용 수 4

한 줄 요약

이 논문은 목표 함수의 성질이 수렴 속도에 미치는 영향을 분석하여 비제약 강한 볼록 최적화 문제에 대해 더블 스무딩 기법의 수렴 속도를 가속화한다. 함수가 강한 볼록성 또는 리프시츠 연속 기울기를 가지면, 기존의 수렴 속도 $O\left(\frac{1}{\epsilon}\ln\left(\frac{1}{\epsilon}\right)\right)$ 가 $O\left(\frac{1}{\sqrt{\epsilon}}\ln\left(\frac{1}{\epsilon}\right)\right)$ 또는 심지어 $O\left(\ln\left(\frac{1}{\epsilon}\right)\right)$ 로 향상되며, 펜첼 이중성과 빠른 기울기 방법을 활용해 비미분 가능 볼록 문제를 효율적으로 해결할 수 있다.

ABSTRACT

In this article we investigate the possibilities of accelerating the double smoothing technique when solving unconstrained nondifferentiable convex optimization problems. This approach relies on the regularization in two steps of the Fenchel dual problem associated to the problem to be solved into an optimization problem having a differentiable strongly convex objective function with Lipschitz continuous gradient. The doubly regularized dual problem is then solved via a fast gradient method. The aim of this paper is to show how do the properties of the functions in the objective of the primal problem influence the implementation of the double smoothing approach and its rate of convergence. The theoretical results are applied to linear inverse problems by making use of different regularization functionals.

연구 동기 및 목표

• 비제약 비미분 가능 볼록 최적화 문제를 해결하기 위한 더블 스무딩 기법의 수렴 속도를 향상시키는 것.
• 원래 문제의 목표 함수 구조적 성질이 더블 스무딩 접근법의 구현 및 수렴 속도에 미치는 영향을 조사하는 것.
• 강한 볼록성 또는 리프시츠 연속 기울기 등의 추가 가정 하에 더 엄밀한 수렴 속도를 확립하는 것.
• 이미지 복원 및 역문제 응용을 통해 가속화된 방법의 실용적 효능을 보여주는 것.

제안 방법

• 이 방법은 원래 문제를 목표 함수가 비미분 가능한 이중 문제로 변환하기 위해 펜첼 이중성을 활용한다.
• 이중 문제에 대해 이중 단계 정규화를 적용하여 목표 함수를 미분 가능하고 강한 볼록적이며 리프시츠 연속 기울기를 가지도록 한다.
• 정규화된 이중 문제를 빠른 기울기 방법으로 풀며, 이는 원래 함수의 미분 가능성 및 볼록성 성질에 따라 수렴 속도가 결정됨을 보장한다.
• 공액 함수로부터 유도된 명시적 공식을 사용하여 이중 반복값에서 근사 최적의 원래 문제 해를 재구성한다.
• 이중성의 이중공액 성질과 초함수 미분법을 활용하여 수렴성과 최적성 조건을 보장한다.
• ISTA 및 FISTA와의 성능 비교를 위해 $l_1$ 및 $l_2$-$l_1$ 정규화 함수를 사용한 이미지 복원 문제에서 수치적 검증을 수행한다.

실험 결과

연구 질문

• RQ1 원래 문제의 함수들이 강한 볼록성과 미분 가능성 성질을 가지면 더블 스무딩 기법의 수렴 속도에 어떤 영향을 미치는가?
• RQ2 함수가 강한 볼록성 또는 리프시츠 연속 기울기를 가질 경우 수렴 속도를 향상시킬 수 있는가?
• RQ3 함수의 유효 정의역이 유계가 아닐 경우 더블 스무딩 방법의 이론적 수렴 속도는 어떻게 되는가?
• RQ4 더블 스무딩 프레임워크에서 이중 반복값으로부터 근사 최적의 원래 문제 해를 효율적으로 복원하는 방법은 무엇인가?
• RQ5 실제 이미지 복원 작업에서 표준 1차 방법인 ISTA 및 FISTA와 비교해 볼 때, 가속화된 더블 스무딩 방법은 어떻게 성능을 발휘하는가?

주요 결과

• 함수 $g$ 가 강한 볼록성을 가지면, 유효 정의역이 유계가 아니더라도 수렴 속도는 여전히 $O\left(\frac{1}{\epsilon}\ln\left(\frac{1}{\epsilon}\right)\right)$ 를 유지한다.
• 함수 $f$ 가 강한 볼록성 또는 함수 $g$ 가 곳곳에서 미분 가능하고 리프시츠 연속 기울기를 가질 경우, 수렴 속도는 $O\left(\frac{1}{\sqrt{\epsilon}}\ln\left(\frac{1}{\epsilon}\right)\right)$ 로 향상된다.
• 함수 $f$ 가 강한 볼록성이고 $g$ 가 미분 가능하며 리프시츠 연속 기울기를 가질 경우, 수렴 속도는 최적의 $O\left(\ln\left(\frac{1}{\epsilon}\right)\right)$ 에 도달한다.
• 더블 스무딩 방법은 이중 문제의 수렴 속도와 동일한 속도로 이중 반복값에서 근사 최적의 원래 문제 해를 성공적으로 재구성한다.
• 이미지 복원 문제에 대한 수치 실험 결과, 더블 스무딩 방법은 ISNR(신호 대 잡음 비율)와 재구성 품질 측면에서 ISTA 및 FISTA를 능가한다.
• 특히 함수 성질이 유리한 조건에서 표준 1차 방법보다 더 빠른 수렴 속도와 뛰어난 이미지 재구성 품질을 달성한다.