[論文レビュー] MOCCA: mirrored convex/concave optimization for nonconvex composite functions

Rina Foygel Barber, Emil Y. Sidky|arXiv (Cornell University)|Oct 29, 2015

Sparse and Compressive Sensing Techniques参考文献 43被引用数 17

ひとこと要約

本稿では、$ F(Kx) + G(x) $ の形をとる非凸複合最適化問題に対して、$ F $ や $ G $ が非凸または非微分可能であってもよいという前提で、MOCCA（ミラー型凸／凹最適化）と呼ばれるプライマル・デュアルアルゴリズムを提案する。各反復で局所的凸近似を用い、近似的凸性のもとで収束保証を提供する。実験結果では、構造的信号回復問題において高速な収束を示す。

ABSTRACT

Many optimization problems arising in high-dimensional statistics decompose naturally into a sum of several terms, where the individual terms are relatively simple but the composite objective function can only be optimized with iterative algorithms. In this paper, we are interested in optimization problems of the form F(Kx) + G(x), where K is a fixed linear transformation, while F and G are functions that may be nonconvex and/or nondifferentiable. In particular, if either of the terms are nonconvex, existing alternating minimization techniques may fail to converge; other types of existing approaches may instead be unable to handle nondifferentiability. We propose the MOCCA (mirrored convex/concave) algorithm, a primal/dual optimization approach that takes local convex approximation to each term at every iteration. Inspired by optimization problems arising in computed tomography (CT) imaging, this algorithm can handle a range of nonconvex composite optimization problems, and offers theoretical guarantees for convergence when the overall problem is approximately convex (that is, any concavity in one term is balanced out by convexity in the other term). Empirical results show fast convergence for several structured signal recovery problems.

研究の動機と目的

• 既存の手法が困難に感じられる、$ F $ や $ G $ が非凸または非微分可能である可能性のある非凸複合最適化問題に対処すること。
• マジョライゼーション／ミニマライゼーションとプライマル／デュアル手法を組み合わせ、画像診断トモグラフィー（CT）における画像再構成など、複雑な現実世界の問題を扱える手法を開発すること。
• 全体の問題が近似的に凸である、すなわち一方の項に凹性が存在しても他方の項がそれを相殺する凸性を有する場合に、理論的収束保証を提供すること。
• 各反復で $ F $ や $ G $ を局所的凸関数で近似できる柔軟な枠組みを提供すること。

提案手法

• 各反復で非凸または非微分可能な関数 $ F $ や $ G $ を局所的凸上界 $ F^{(t)} $ および $ G^{(t)} $ に置き換えることで、凸部分問題を形成するプライマル・デュアル手法である MOCCA アルゴリズムを提案する。
• 問題の鞍点定式化を解くために、外挿法（$ \theta = 1 $）を用いた前処理付きのシャンボル・ポック型反復スキームを採用する。
• 各反復で $ F $ と $ G $ を凸上界 $ F^{(t)} $ および $ G^{(t)} $ に置き換え、それらをプロキシマルステップで解く凸部分問題を形成する。
• デュアル空間でミラー降下型更新を実行し、デュアル変数 $ w $ を $ \arg\min_w \{ -\langle K\bar{x}^{t+1}, w \rangle + F^*(w) + \frac{1}{2}\|w - w^t\|^2_{\Sigma^{-1}} \} $ で更新する。
• 安定な内部ループバージョン（アルゴリズム2）を導入し、MOCCA を前処理付きの凸近似を用いた再定式化された ADMM と関連付ける。
• 単調性とリャプノフ関数に基づく収束解析を採用し、近似的凸性のもとで反復列が解にサブ線形収束することを証明する。

実験結果

リサーチクエスチョン

• RQ1 標準的手法が失敗する非凸複合問題において、局所的凸近似を用いたプライマル・デュアルアルゴリズムが収束を達成できるか？
• RQ2 $ F $ や $ G $ が非凸または非微分可能である場合、MOCCA アルゴリズムがどのような条件下で収束するか？
• RQ3 構造的信号回復タスクにおいて、MOCCA は既存の交互最小化法やプロキシマル法と比較して、性能およびロバスト性に優れているか？
• RQ4 MOCCA フレームワークは ADMM や前処理付きプライマル・デュアル手法と接続可能であり、収束保証を維持できるか？

主な発見

• 全体の問題が近似的に凸である、すなわち $ F $ や $ G $ に凹性が存在しても他方の項がそれを相殺する凸性を有する場合、MOCCA は解へのサブ線形収束を達成する。
• 画像診断トモグラフィー（CT）画像で生じる問題を含め、構造的信号回復問題において、MOCCA は高速な収束を示す。
• 理論的解析により、関数とステップサイズに適切な仮定をおくと、反復回数 $ L $ に対して収束速度が $ O(1/L) $ であることが証明された。
• 関数 $ F $ や $ G $ が非微分可能または非凸であっても、曲率が有界な局所的凸近似が可能であれば、収束保証が成り立つ。
• MOCCA アルゴリズムは、凸近似を用いた前処理付き ADMM と等価であることが示され、ADMM の適用範囲が非凸設定へ拡張された。
• 実験結果により、非凸複合問題において、MOCCA は標準的なプロキシマル法や交互最小化法を上回る性能を示し、特に高次元設定で顕著な優位性を示した。