[論文レビュー] Relax-and-split method for nonsmooth nonconvex problems

Peng Zheng, Aleksandr Y. Aravkin|arXiv (Cornell University)|Feb 7, 2018

Advanced Optimization Algorithms Research参考文献 45被引用数 8

ひとこと要約

本稿は、線形写像と可分な非凸関数を含む、滑らかでない非凸な合成最適化問題を解くための新しいリラックス・アンド・スプリット（RS）法を提案する。元の問題を補助変数でリラックスし、部分最小化を適用することで、弱凸でない問題に対しても、高速反復法を用いた効率的な解法が可能になる。この手法は、外れ値検出に向けたトリムド（剪定）形式へ自然に拡張可能であり、収束保証と競争力のある性能を併せ持つ。

ABSTRACT

We develop and analyze a new `relax-and-split' (RS) approach for compositions of separable nonconvex nonsmooth functions with linear maps. RS uses a relaxation technique together with partial minimization, and brings classic techniques including direct factorization, matrix decompositions, and fast iterative methods to bear on nonsmooth nonconvex problems. We also extend the approach to trimmed nonconvex-composite formulations; the resulting Trimmed RS (TRS) can fit models while detecting outliers in the data. We then test RS and TRS on a diverse set of applications: (1) phase retrieval, (2) stochastic shortest path problems, (3) semi-supervised classification, and (4) new clustering approaches. RS/TRS can be applied to models with very weak functional assumptions, are easy to implement, competitive with existing methods, and enable a new level of modeling formulations to be put forward to address emerging challenges in the mathematical sciences.

研究の動機と目的

• 滑らかでなく非凸な最適化問題を解く挑戦に取り組む。特に、凸性や滑らかさの欠如により、標準的手法が失敗する状況を想定する。
• リラックスと部分最小化を活用する柔軟なフレームワークを構築し、複雑な非凸項と線形写像を分離することで、効率的なアルゴリズム的取り扱いを可能にする。
• 外れ値を検出し、その影響を軽減するトリムド（剪定）形式への拡張を図り、実世界の応用におけるロバスト性を高める。
• 弱凸性を要件としない非凸で滑らかでない関数を扱えるようにすることで、データサイエンティスティクス分野における新規モデリング能力を提供する。
• 位相再構成、半教師付き学習、確率的最短経路、非凸融合ペナルティを伴うクラスタリングなど、多様な応用分野において本手法の有効性を実証する。

提案手法

• 補助変数 $ w $ を導入することで、非凸合成問題のリラックス定式化を提案。元の問題 $ \text{min}_x h(Ax) + g(x) $ を $ \text{min}_{x,w} h(w) + \frac{1}{2\nu}\|Ax - w\|^2 + g(x) $ に変換し、線形写像と非凸関数を分離する。
• 変数 $ x $ と $ w $ に対する部分最小化を用いて、交互最小化スキームを導出。各サブプロブレムは、プロキシマル作用素または最小二乗解に帰着され、高速かつスケーラブルな更新が可能になる。
• 外れ値へのロバスト性を確保するため、バイナリ重み $ v_i $ を導入したトリムド拡張（TRS）を提案。$ m - \tau $ 個の最大残差を抑えるために、$ v \in \triangle_\tau $ というキャップドシンプレックス制約を用いる。
• 問題を $ f(x) = h(Ax) + g(x) $ の標準形にマッピングすることで、RSフレームワークを多様な応用に適用。ここで $ h $ は非凸かつ滑らかでなく、$ g $ は凸またはゼロである。
• SVD、行列分解、反復解法といった古典的手法を、リラックスされたサブプロブレムに適用。既存のソフトウェアと連携可能であり、実装可能性と実用性を確保する。
• リラックス構造と部分最小化の性質を活用することで、$ h $ が弱凸ではなくても、弱い仮定の下でRSアルゴリズムの収束保証を確立する。

実験結果

リサーチクエスチョン

• RQ1 既存の部分勾配法やプロキシマル法の適用範囲外にある、滑らかでない非凸合成問題を解くためのリラックスベースのアプローチを開発可能か？
• RQ2 リラックス・アンド・スプリット法を外れ値によるデータ汚染に対処できるように拡張できるか。また、トリミングの影響は収束性と解の品質にどのように現れるか？
• RQ3 非凸正則化を用いる場合、RS法はADMMなどの既存ソルバーに比べて、収束速度とロバスト性でどれほど優れているか？
• RQ4 RSフレームワークは、位相再構成、半教師付き分類、確率的最短経路といった実世界問題に、最小限のモデリング仮定で適用可能か？
• RQ5 クラスタリングにおいて、非凸融合ペナルティ（例：SCAD型）を用いる利点は何か。また、凸代替と比較して、クラスタ分離性やチューニング感度にどのような影響を与えるか？

主な発見

• リラックス・アンド・スプリット（RS）法は、弱凸でもない非凸で滑らかでない問題に対しても収束を達成し、従来の部分勾配法の適用範囲を拡張する。
• クラスタリングにおいて非凸SCAD型融合ペナルティを用いる場合、RSアルゴリズムはADMMを上回る収束速度を示し、局所的クラスタリング性能が向上し、グローバルパラメータのチューニング感度も低下する。
• 外れ値が混入する位相再構成問題では、トリムドRS（TRS）定式化が外れ値を効果的に検出し、軽減することでロバスト性を向上させつつ、解の精度を損なわない。
• 半教師付き分類の文脈では、RSアプローチが未ラベルデータに対して大きなマージンを促進することで、ノイズ環境下でも標準的ロジスティック回帰を上回る性能を発揮する。
• 確率的最短経路問題では、RS法が非凸ベルマン方程式の定式化を、区分的線形正則化を用いて効率的に解き、最適方策の計算を可能にする。
• 非凸融合ペナルティを許容することで、クラスタリングにおける新たなモデリングの柔軟性が得られ、グローバルなクラスタリング崩壊を防ぎ、より解釈可能で局所的なクラスタ構造の形成を可能にする。