[논문 리뷰] Smoothing technique for nonsmooth composite minimization with linear operator

Quang Van Nguyen, Olivier Fercoq외 1명|arXiv (Cornell University)|2017. 06. 19.

Sparse and Compressive Sensing Techniques참고 문헌 14인용 수 5

한 줄 요약

이 논문은 선형 연산자를 갖는 비스무스 복합 볼록 최적화를 위한 새로운 스무딩 기반 가속 알고리즘인 ASGARD를 제안한다. 호모토피 기반 스무딩, 선색색색, 기울기 재사용을 결합함으로써, TV-정규화 회귀나 양자성질 예측과 같은 대규모 문제에서 FISTA 및 Vu-Condat의 방법보다 탁월한 수렴 속도와 실용적 성능을 달성한다.

ABSTRACT

We introduce and analyze an algorithm for the minimization of convex functions that are the sum of differentiable terms and proximable terms composed with linear operators. The method builds upon the recently developed smoothed gap technique. In addition to a precise convergence rate result, valid even in the presence of linear inclusion constraints, this new method allows an explicit treatment of the gradient of differentiable functions and can be enhanced with line-search. We also study the consequences of restarting the acceleration of the algorithm at a given frequency. These new features are not classical for primal-dual methods and allow us to solve difficult large-scale convex optimization problems. We numerically illustrate the superior performance of the algorithm on basis pursuit, TV-regularized least squares regression and L1 regression problems against the state-of-the-art.

연구 동기 및 목표

• 비스무스 항이 선형 연산자와 조합된 대규모 볼록 최적화 문제를 해결하는 데 도전하는 것.
• 기존의 원본-쌍대 및 전진-뒤로가기 방법이 복합 항과 선형 연산자, 비가능성 제어를 다룰 때 가지는 한계를 극복하는 것.
• 더 나은 수렴성과 실용적 효율성을 위해 명시적 기울기 계산, 선색색, 재시작 전략을 가능하게 하는 방법을 개발하는 것.
• 일반 조건, 특히 선형 포함 제약 조건 하에서 엄밀한 수렴 보장을 제공하는 것.
• 기능적 MRI 재구성 및 양자성질 예측과 같은 실제 문제에서 뛰어난 성능을 보여주는 것.

제안 방법

• 비스무스 함수를 점차적으로 근사하기 위해 스무딩 파armeter를 점진적으로 감소시키는 호모토피 기반 스무딩 프레임워크를 제안한다.
• 부드러운 항의 기울기의 리프시츠 연속성에 기반해, 스무딩된 복합 목표 함수를 최소화하기 위해 가속 전진-뒤로가기 방법을 적용한다.
• 스텝 사이즈를 적응적으로 선택하기 위해 선색색 전략을 도입하여, 부드러움 파rameter에 대한 사전 지식이 없어도 수렴을 향상시킨다.
• 기울기 평가가 비용이 많이 들 경우 특히 유리한, 이전 기울기 재사용을 통한 반복당 계산 비용 절감.
• 특히 불량 조건이 심한 설정에서 수렴 속도와 강건성을 향상시키기 위해 고정 간격으로 재시작 메커니즘을 통합한다.
• 약한 가정 하에서도 수렴을 보장하기 위해, Fenchel-Rockafellar 이중성에 기반한 원본-쌍대 프레임워크에 방법을 통합한다.

실험 결과

연구 질문

• RQ1 적응적 스무딩 파rameter를 갖는 스무딩 기반 접근이, 선형 연산자를 갖는 비스무스 복합 문제에 대해 기존의 원본-쌍대 또는 전진-뒤로가기 방법보다 더 나은 수렴 속도를 달성할 수 있는가?
• RQ2 선색색과 기울기 재사용을 통합할 경우 스무딩 기반 알고리즘의 실용적 성능과 수렴 속도에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 FISTA 및 Vu-Condat의 방법과 같은 최첨단 알고리즘보다 실제 응용에서 뛰어난 성능을 내면서도 이론적 수렴 보장을 유지할 수 있는가?
• RQ4 주기적 재시작이 대규모 문제에서 알고리즘의 수렴 행동과 강건성에 어떤 영향을 미치는가?
• RQ5 수렴 속도나 안정성에 손상 없이, 이론적 제약 조건과 선형 포함 제약 조건을 얼마나 잘 처리할 수 있는가?

주요 결과

• ASGARD는 원본-쌍대 간격에 대해 O(1/k²)의 수렴 속도를 달성하며, 부드럽고 복합 설정에서 최고의 알려진 가속 방법 수렴 속도와 일치한다.
• 기능적 MRI 재구성 문제에서, 오래된 기울기와 매 400회 반복마다 재시작하는 ASGARD는 함수 값 감소량 측면에서 FISTA 및 Vu-Condat의 알고리즘을 뛰어넘는다.
• 선색색과 기울기 재사용을 통한 기울기 평가 횟수의 현저한 감소로, 기울기 계산이 비용이 많이 들 경우 더 빠른 수렴이 가능하다.
• 7,211개 분자의 데이터셋에서의 양자성질 예측 문제에서, ASGARD 변종은 Vu-Condat의 알고리즘과 Combettes-Pesquet의 알고리즘보다 더 빠르게 수렴한다. 특히 고차원 데이터에서 두드러진 성능 향상이 있다.
• 이 알고리즘은 함수 값과 비가능성 모두에 대해 유한 시간 내 수렴함을 보여주며, 제약 조건이 있는 비스무스 최적화에서 흔치 않은 특성이다.
• 매 400회 반복마다 가속을 재시작하는 것이 모든 테스트 문제에서 가장 우수한 경험적 성능를 보이며, 주기적 재시작의 강력한 실용적 이점이 있음을 시사한다.