[논문 리뷰] MOCCA: mirrored convex/concave optimization for nonconvex composite functions

Rina Foygel Barber, Emil Y. Sidky|arXiv (Cornell University)|2015. 10. 29.

Sparse and Compressive Sensing Techniques참고 문헌 43인용 수 17

한 줄 요약

이 논문은 $ F(Kx) + G(x) $ 형태의 비볼록 복합 최적화 문제를 위한 원천-쌍대 알고리즘인 MOCCA(Mirrored Convex/Concave Optimization)를 소개한다. 여기서 $ F $와 $ G $는 비볼록 또는 비미분 가능일 수 있다. 알고리즘은 각 반복에서 국소 볼록 근사치를 사용하며, 약간의 볼록성 조건 하에서 수렴 보장을 제공한다. 실험 결과는 구조적 신호 복원 문제에서 빠른 수렴을 보여준다.

ABSTRACT

Many optimization problems arising in high-dimensional statistics decompose naturally into a sum of several terms, where the individual terms are relatively simple but the composite objective function can only be optimized with iterative algorithms. In this paper, we are interested in optimization problems of the form F(Kx) + G(x), where K is a fixed linear transformation, while F and G are functions that may be nonconvex and/or nondifferentiable. In particular, if either of the terms are nonconvex, existing alternating minimization techniques may fail to converge; other types of existing approaches may instead be unable to handle nondifferentiability. We propose the MOCCA (mirrored convex/concave) algorithm, a primal/dual optimization approach that takes local convex approximation to each term at every iteration. Inspired by optimization problems arising in computed tomography (CT) imaging, this algorithm can handle a range of nonconvex composite optimization problems, and offers theoretical guarantees for convergence when the overall problem is approximately convex (that is, any concavity in one term is balanced out by convexity in the other term). Empirical results show fast convergence for several structured signal recovery problems.

연구 동기 및 목표

• 기존 방법이 어려움을 겪는 비볼록 또는 비미분 가능일 수 있는 $ F $와 $ G $를 포함한 비볼록 복합 최적화 문제를 해결하기 위해.
• 주요화/최소화 기법과 원천-쌍대 기법을 융합하여, 체컴 톰로그래피(CT)에서의 이미지 복원과 같은 복잡한 실세계 문제를 다룰 수 있는 방법을 개발하기 위해.
• 전체 문제의 볼록성에 근접할 경우, 즉 한 항의 오목성은 다른 항의 볼록성으로 상쇄될 경우에 수렴 보장을 제공하기 위해.
• 각 반복에서 $ F $와 $ G $를 국소적으로 볼록 함수로 근사할 수 있는 탄력적인 프레임워크를 제공하기 위해.

제안 방법

• 각 반복에서 비볼록 또는 비미분 가능 함수 $ F $와 $ G $에 대해 국소 볼록 근사치를 사용하는 원천-쌍대 방법인 MOCCA 알고리즘을 제안한다.
• 사전 조정된 챔볼레-포크 스타일 반복적 절차를 사용하며, 외삽($ \theta = 1 $)을 적용하여 문제의 사안점 공식을 해결한다.
• 각 반복에서 $ F $와 $ G $를 볼록 상계 $ F^{(t)} $와 $ G^{(t)} $로 대체하여, 프록시멀 단계를 통해 해결할 수 있는 볼록 하위문제를 구성한다.
• 쌍대 공간에서 미러 디센트 유형 업데이트를 사용하며, 쌍대 변수 $ w $ 는 $ \arg\min_w \{ -\langle K\bar{x}^{t+1}, w \rangle + F^*(w) + \frac{1}{2}\|w - w^t\|^2_{\Sigma^{-1}} \} $ 를 통해 갱신된다.
• 안정적인 내부 루프 버전(알고리즘 2)을 포함하며, 볼록 근사치를 적용한 재구성된 사전 조정된 ADMM을 통해 MOCCA를 ADMM과 연결한다.
• 단조성과 리아푸노프 함수를 기반으로 한 수렴 분석을 수행하여, 약간의 볼록성 조건 하에서 하위선형 수렴을 증명한다.

실험 결과

연구 질문

• RQ1 표준 방법이 실패하는 비볼록 복합 문제에서 국소 볼록 근사치를 사용하는 원천-쌍대 알고리즘이 수렴할 수 있는가?
• RQ2 비볼록 또는 비미분 가능할 경우 $ F $와 $ G $가 성립하는 조건 하에서 MOCCA 알고리즘이 수렴하는가?
• RQ3 구조적 신호 복원 작업에서 기존의 교대 최소화 또는 프록시멀 방법에 비해 MOCCA는 성능 및 강건성 면에서 어떻게 비교되는가?
• RQ4 MOCCA 프레임워크는 ADMM 및 사전 조정된 원천-쌍대 방법과 연결될 수 있으며, 이 경우 수렴 보장이 유지되는가?

주요 결과

• 전체 문제의 볼록성에 근접할 경우, 즉 $ F $ 또는 $ G $의 오목성이 다른 항의 볼록성으로 상쇄될 경우, MOCCA는 하위선형 수렴을 달성한다.
• 알고리즘은 체컴 톰로그래피(CT) 영상에서 발생하는 문제를 포함한 구조적 신호 복원 문제에서 빠른 수렴을 보여준다.
• 이론적 분석을 통해 함수와 스텝 크기에 적절한 가정 하에 반복 수 $ L $ 에 대해 수렴 속도가 $ O(1/L) $ 임을 증명한다.
• 함수 $ F $와 $ G $가 비미분 가능하거나 비볼록일지라도, 곡률이 유계인 국소 볼록 근사치를 갖는다면 수렴 보장이 유지된다.
• MOCCA 알고리즘이 볼록 근사치를 적용한 사전 조정된 ADMM과 동치임을 입증하여, ADMM의 적용 범위를 비볼록 환경으로 확장한다.
• 실험 결과는 MOCCA가 비볼록 복합 문제에서 표준 프록시멀 및 교대 최소화 방법보다 뛰어난 성능을 보이며, 특히 고차원 환경에서 뛰어난 성능을 발휘함을 확인한다.