[論文レビュー] A generalized Douglas-Rachford splitting algorithm for nonconvex optimization

Fengmiao Bian, Xiaoqun Zhang|arXiv (Cornell University)|Oct 12, 2019

Sparse and Compressive Sensing Techniques被引用数 1

ひとこと要約

本稿では、全列の収束を保証するための新しいマーリット関数を導入することにより、非凸最適化のための一般化された Douglas-Rachford スプリッティング法を提案する。この手法は低ランク行列補完およびロジスティック回帰に適用され、数値実験において古典的手法よりも優れた性能を示す。

ABSTRACT

In this paper, we propose a generalized Douglas-Rachford splitting method for a class of nonconvex optimization problem. A new merit function is constructed to establish the convergence of the whole sequence generated by the generalized Douglas-Rachford splitting method. We then apply the generalized Douglas-Rachford splitting method to two important classes of nonconvex optimization problems arising in data science: low rank matrix completion and logistic regression. Numerical results validate the effectiveness of our generalized Douglas-Rachford splitting method compared with some other classical methods.

研究の動機と目的

• 非凸最適化問題に対する既存のスプリッティング法に収束保証が欠けているという問題に対処すること。
• データサイエンスに生じる非凸問題を扱える一般化された Douglas-Rachford アルゴリズムの開発。
• アルゴリズムが生成する全列の収束を保証する新しいマーリット関数の構築。
• 低ランク行列補完とロジスティック回帰という2つの重要な非凸問題における手法の有効性の検証。

提案手法

• 非凸最適化問題のクラスに対して、一般化された Douglas-Rachford スプリッティング法を提案する。
• 全列の収束を解析・確立するために、新しいマーリット関数を構築する。
• 問題を非凸最適化タスクとして定式化することにより、低ランク行列補完にこの手法を適用する。
• 構造的で目的関数を持つ非凸問題として扱うことで、ロジスティック回帰に対してもアルゴリズムを適応させる。
• マーリット関数を用いて収束を証明し、反復スキームのリャプノフ型関数として機能させる。
• 数値実験により、古典的ソルバーと比較して性能と頑健性を評価する。

実験結果

リサーチクエスチョン

• RQ1 非凸最適化問題に対して、全列の収束を保証する一般化された Douglas-Rachford スプリッティング法を設計できるか？
• RQ2 提案されたマーリット関数は、非凸設定下での全列収束にどのように寄与するか？
• RQ3 一般化された手法は、低ランク行列補完において、古典的アルゴリズムと比較してどの程度の性能を示すか？
• RQ4 非凸定式化下でのロジスティック回帰問題の解法として、この手法はどの程度効果的か？
• RQ5 このアルゴリズムは、さまざまな非凸データサイエンス問題においても頑健性と効率性を維持するか？

主な発見

• 提案された一般化された Douglas-Rachford スプリッティング法は、新たに構築されたマーリット関数を用いて、全列の収束を達成する。
• 数値実験において、低ランク行列補完問題の解法において、古典的手法を上回る性能を示す。
• 非凸定式化下でも、ロジスティック回帰タスクにおいて優れた性能と頑健性を示す。
• マーリット関数は、標準的手法が失敗する非凸設定ですら収束を証明するための重要なツールとなる。
• 数値結果により、既存の古典的ソルバーと比較して、提案手法の有効性と効率性が確認される。