[논문 리뷰] Optimal subgradient algorithms with application to large-scale linear inverse problems

Masoud Ahookhosh|arXiv (Cornell University)|2014. 02. 28.

Sparse and Compressive Sensing Techniques참고 문헌 19인용 수 12

한 줄 요약

이 논문은 복합 콘 vex 목표 함수를 가진 대규모 선형 역문제를 위한 최적의 서브그래디언트 알고리즘인 OSGA를 제안한다. 적응형 파rameter 업데이트와 조절된 보조 함수를 활용함으로써 OSGA는 빠른 수렴 속도를 달성하며, 이는 이론적 예측을 뛰어넘는 경우가 많고, 특히 조건이 나쁜 문제에서 최신 솔버들보다 뛰어난 성능을 보인다.

ABSTRACT

This study addresses some algorithms for solving structured unconstrained convex optimiza- tion problems using first-order information where the underlying function includes high-dimensional data. The primary aim is to develop an implementable algorithmic framework for solving problems with multi- term composite objective functions involving linear mappings using the optimal subgradient algorithm, OSGA, proposed by Neumaier in [49]. To this end, we propose some prox-functions for which the cor- responding subproblem of OSGA is solved in a closed form. Considering various inverse problems arising in signal and image processing, machine learning, statistics, we report extensive numerical and compar- isons with several state-of-the-art solvers proposing favourably performance of our algorithm. We also compare with the most widely used optimal first-order methods for some smooth and nonsmooth con- vex problems. Surprisingly, when some Nesterov-type optimal methods originally proposed for smooth problems are adapted for solving nonsmooth problems by simply passing a subgradient instead of the gradient, the results of these subgradient-based algorithms are competitive and totally interesting for solving nonsmooth problems. Finally, the OSGA software package is available.

연구 동기 및 목표

• 선형 역문제에서 발생하는 대규모 볼록 최적화 문제를 효율적으로 해결하기 위한 1차 방법을 개발하는 것.
• 원래의 최적의 서브그래디언트 알고리즘(OGSA)을 복합적이며 비미분 가능한 목표 함수와 구조적 제약 조건을 처리할 수 있도록 확장하는 것.
• 전역 리프시츠 상수를 필요로 하지 않으면서 수렴 속도를 향상시키는 적응형 파rameter 업데이트 기법을 설계하는 것.
• 최소한의 메모리와 계산 오버헤드를 가진 비제약 볼록 최적화를 위한 실용적인 소프트웨어 패키지를 제공하는 것.

제안 방법

• 다중 항 선형 복합 함수를 다룰 수 있도록 일반화된 복합 OSGA 프레임워크를 제안한다.
• 지역 및 전역 튜닝 파rameter를 사용하여 α, h, γ, η, u를 적응적으로 조정하는 새로운 파rameter 업데이트 기법(알고리즘 3)을 도입한다.
• 대칭 정부정행렬 preconditioner $ \mathcal{D} $를 갖는 강력한 볼록 보조 함수 $ Q(z) = Q_0 + \frac{\sigma}{2}\|z - z_0\|_{\mathcal{D}}^2 $를 사용하여 보조 하위문제의 닫힌 형식 해를 가능하게 한다.
• 보조 하위문제에 대한 명시적 해를 $ u = z_0 - E(\gamma,h)^{-1}\sigma^{-1}\mathcal{D}^{-1}h $ 를 통해 유도하며, 여기서 $ E(\gamma,h) $ 는 h와 파ram터의 이차형식을 통해 정의된다.
• 오차 한계 $ \eta \leq \epsilon $ 를 기반으로 한 정지 기준을 사용하지만, 실용적 효율성을 위해 반복 횟수 제한 및 함수 평가 수 제한도 고려한다.
• 기울기를 서브그래디언트로 대체함으로써 부드러운 1차 방법(FISTA 등)을 비미분 가능한 문제에 적용하여 블랙박스 오라클 접근법을 형성한다.

실험 결과

연구 질문

• RQ1 복합적이며 비미분 가능한 목표 함수를 가진 대규모 선형 역문제에 대해 이론적 최적성과 실용적 효율성을 유지하면서 최적의 서브그래디언트 알고리즘을 설계할 수 있는가?

주요 결과

• OSGA는 이론적 예측을 뛰어넘는 수렴 속도를 보이며, 특히 조건이 나쁜 문제에서 강력한 실용적 성능을 나타낸다.
• 수치 실험에서 OSGA는 시각적으로 정확한 신호 복원을 달성하기 위해 약 15회의 반복만으로도 충분하며, FISTA, NESCS, NES05와 비교해 100회 정도의 반복이 필요한 것과 비교해 뚜렷한 승리를 거둔다.
• 조건화된 보조 함수 $ Q(z) = Q_0 + \frac{\sigma}{2}\|z - z_0\|_{\mathcal{D}}^2 $ 를 사용함으로써 보조 하위문제에 대한 닫힌 형식 해를 가능하게 하여 계산 효율성이 크게 향상된다.
• 기울기를 서브그래디언트로 대체함으로써 부드러운 1차 방법(FISTA 등)을 비미분 가능한 문제에 적용하는 방식은 이론적 보장이 없음에도 불구하고 경쟁력 있거나 더 우수한 성능을 낸다.
• OSGA 소프트웨어 패키지(v1.1)는 MATLAB에서 공개되어 있으며, 사용자 정의 문제를 지원하고, 완전한 문서화 및 예제 구현을 제공한다.
• 수치 결과는 OSGA가 TwIST, SpaRSA, FISTA와 같은 최신 솔버들과 비교해 계산적으로 경쟁력 있거나 뛰어나며, 특히 정규화 파ram터가 작은 경우에 두드러진 성능을 보인다.