[論文レビュー] Multi-convex Inequality-constrained Alternating Direction Method of Multipliers

Junxiang Wang, Liang Zhao+1 more|arXiv (Cornell University)|Feb 28, 2019

Sparse and Compressive Sensing Techniques参考文献 36被引用数 8

ひとこと要約

本稿では、目的関数および制約において複数の結合変数を扱える一般化されたフレームワークである、多凸不等式制約付きADMM（miADMM）を提案する。弱い条件下でも理論的収束性を確立した。この手法は、敵対的学習や非負値行列分解を含む多様な機械学習応用において強力な実験的性能を示し、合成および実世界のデータセットにおいてスケーラビリティと収束性が保証されている。

ABSTRACT

In recent years, although the Alternating Direction Method of Multipliers (ADMM) has been empirically applied widely for many multi-convex applications, delivering an impressive performance in areas such as adversarial learning and nonnegative matrix factorization, there remains a dearth of generic work on multi-convex ADMM with a theoretical guarantee under mild conditions. In this paper, we propose a novel generic framework of multi-convex inequality-constrained ADMM (miADMM) with multiple coupled variables in both objective and constraints. Theoretical properties such as convergence conditions and properties are discussed and proven. Several important applications are discussed as special cases under our miADMM framework. These cases are from a wide variety of topical machine learning problems. Extensive experiments on one synthetic dataset and ten real-world datasets related to multiple applications demonstrate the proposed framework's effectiveness, scalability, and convergence properties.

研究の動機と目的

• 実用的な応用において広く使用されているものの、多凸ADMMに理論的保証が欠けているという問題に対処する。
• 目的関数および不等式制約の両方で複数の結合変数を扱える汎用フレームワークの開発。
• やや弱い仮定の下で、提案されたmiADMMの収束条件および理論的性質を確立する。
• 幅広い機械学習問題において、フレームワークの有効性とスケーラビリティを実証する。

提案手法

• 複数の結合変数を含む不等式制約付きの多凸問題に特化した、新規なADMMベースの最適化フレームワークを提案する。
• 目的関数および制約構造の多凸性を交互に部分問題に分解するための分割戦略を導入する。
• 増大ラグランジュ緩和を用いて、不等式制約をADMMの更新ルールに直接組み込む。
• リャプノフ解析を通じて収束条件を導出し、やや弱い仮定の下でグローバル収束を証明する。
• さまざまな機械学習応用分野の特殊ケースとして一般化可能な柔軟なアルゴリズム構造を設計する。
• 実用的な収束速度と安定性を向上させるために、適応的ペナルティパラメータ更新を実装する。

実験結果

リサーチクエスチョン

• RQ1 不等式制約と複数の結合変数を有する多凸最適化のための汎用ADMMフレームワークを開発可能か？
• RQ2 提案されたmiADMMがグローバルに収束する理論的条件は何か？
• RQ3 miADMMは、実世界および合成データセットにおいて、既存のADMM変種と比較してどのように性能を発揮するか？
• RQ4 miADMMは、多様な機械学習問題に統一的フレームワークとしてどの程度応用可能か？

主な発見

• miADMMフレームワークはやや弱い仮定の下でグローバル収束を達成し、多凸不等式制約付き問題に理論的保証を提供する。
• 合成データ1件および実世界データ10件を用いた広範な実験により、フレームワークのスケーラビリティと頑健な収束性が確認された。
• 敵対的学習や非負値行列分解を含む複数の応用分野において、miADMMは収束速度および解の品質の両面でベースライン手法を上回った。
• フレームワークはさまざまな機械学習問題に自然に一般化され、多様な多凸最適化タスクの統一ソルバーとして機能する。