[論文レビュー] On the convergence rate improvement of a primal-dual splitting algorithm for solving monotone inclusion problems

Radu Ioan Boţ, Ernö Robert Csetnek+1 more|arXiv (Cornell University)|Mar 12, 2013

Optimization and Variational Analysis参考文献 19被引用数 9

ひとこと要約

本稿では、単調包含問題を解くために前向き後向き分割法に基づく2つの修正されたプリマルデュアルスプリットリングアルゴリズムを提案し、強い単調性仮定の下で収束速度 $Θ(1/n)$ および $Θ(\omega^n)$ を達成する。これらの手法は完全に分解可能であり、凸最適化に応用され、画像処理およびサポートベクターマシンにおける数値的妥当性が確認されている。

ABSTRACT

We present two modified versions of the primal-dual splitting algorithm relying on forward-backward splitting proposed in \cite{vu} for solving monotone inclusion problems. Under strong monotonicity assumptions for some of the operators involved we obtain for the sequences of iterates that approach the solution orders of convergence of O(1/n) and O(ω^n), for $ω\in (0,1)$, respectively. The investigated primal-dual algorithms are fully decomposable, in the sense that the operators are processed individually at each iteration. We also discuss the modified algorithms in the context of convex optimization problems and present numerical experiments in image processing and support vector machines classification.

研究の動機と目的

• ヴゥ（2013）が提案した単調包含問題のためのプリマルデュアルスプリットリングアルゴリズムの収束速度を向上させること。
• 強い単調性仮定の下で、修正されたアルゴリズムの収束速度 $Θ(1/n)$ および $Θ(\omega^n)$ を確立すること。
• 各反復において各作用素を個別に処理できるように、完全な分解可能性を保証すること。
• 特に画像処理およびサポートベクターマシン分類において、修正されたアルゴリズムを凸最適化問題に応用すること。
• 実世界のデータセットを用いた数値実験により、理論的な改善が確認されること。

提案手法

• 文献[21]のプリマルデュアル前向き後向き分割法の2つの修正版を導入し、強い単調性仮定を組み込む。
• 単値作用素（線形連続作用素およびその随伴作用素を含む）には前向きステップを、多値作用素には解スプリット作用素を介した後向きステップを用いる。
• 作用素 $A$ および $B$ が極大単調的で、$K$ が有界線形作用素である形の単調包含問題 $0 \in A(x) + K^* B(Kx)$ を解くためにアルゴリズムを適用する。
• 各反復で各作用素を独立に処理することで完全な分解可能性を確保し、並列および分散計算を可能にする。
• アルゴリズムの構造を維持するために、解スプリット作用素の恒等式 $J_{\gamma A} + \gamma J_{\gamma^{-1}A^{-1}} \circ \gamma^{-1} \text{Id} = \text{Id}$ を用いる。
• 再生核ヒルベルト空間におけるティホノフ正則化付きSVM問題にアルゴリズムを適用し、双対問題を必要な単調包含形式に再定式化する。

実験結果

リサーチクエスチョン

• RQ1 強い単調性仮定の下で、プリマルデュアル前向き後向き分割法の収束速度を高速化できるか。
• RQ2 特定の作用素に強い単調性が課された場合、修正されたプリマルデュアルアルゴリズムが達成可能な収束速度は何か。
• RQ3 アルゴリズムの分解可能性は、大規模最適化問題における実用的適用性にどのように影響するか。
• RQ4 画像処理およびSVM分類といった実世界の応用において、改善された収束速度を数値的に妥当化できるか。
• RQ5 SVM学習において、核パラメータの選択が誤分類率に与える影響は何か。

主な発見

• 強い単調性仮定のもとで、修正されたアルゴリズムは $\omega \in (0,1)$ の線形収束速度 $\mathcal{O}(\omega^n)$ を達成し、部分線形速度よりも著しく高速である。
• $f + h$ が $\gamma$-強いたる凸である最適化問題の場合は、アルゴリズムが $\mathcal{O}(1/n)$ の収束速度を達成する。
• 5899枚の画像を含む数字分類データセットにおける数値実験では、$\sigma = 0.15$ の場合にテスト誤分類率が1.36%にまで低下し、一部の既存研究のベンチマークを上回った。
• $\sigma = 0.15$ および $0.175$ の場合、訓練誤差はゼロであったため、最適な核パラメータでは優れた一般化性能を示した。
• 正則化パrameter $C$ の変更に対してもアルゴリズムは頑健であり、分類精度に顕著な影響は観察されなかった。
• 特に適切に選ばれた核パラメータの場合、既存の数値的手法と比較して同等または優れた性能を達成した。