[論文レビュー] Leveraging Two Reference Functions in Block Bregman Proximal Gradient Descent for Non-convex and Non-Lipschitz Problems

Tianxiang Gao, Songtao Lu+2 more|arXiv (Cornell University)|Dec 16, 2019

Sparse and Compressive Sensing Techniques参考文献 36被引用数 5

ひとこと要約

本稿では、非凸かつ非リプシッツな最適化問題に対して、閉形式のブレグマン射影を可能にする2つの参照関数を用いた、ブロックワイドな2参照Bregman勾配降下法（B2B）を提案する。グリーディまたはランダムなブロック選択のもとで、$Ó(\sqrt{s}/\sqrt{k})$ の収束速度を達成し、サイクル的ブロック Coordinate Descent（BCD）と比較して$Ó(\sqrt{s})$ 速い。非負値行列分解（NMF）問題において優れた性能を示す。

ABSTRACT

In the applications of signal processing and data analytics, there is a wide class of non-convex problems whose objective function is freed from the common global Lipschitz continuous gradient assumption (e.g., the nonnegative matrix factorization (NMF) problem). Recently, this type of problem with some certain special structures has been solved by Bregman proximal gradient (BPG). This inspires us to propose a new Block-wise two-references Bregman proximal gradient (B2B) method, which adopts two reference functions so that a closed-form solution in the Bregman projection is obtained. Based on the relative smoothness, we prove the global convergence of the proposed algorithms for various block selection rules. In particular, we establish the global convergence rate of $O(\frac{\sqrt{s}}{\sqrt{k}})$ for the greedy and randomized block updating rule for B2B, which is $O(\sqrt{s})$ times faster than the cyclic variant, i.e., $O(\frac{s}{\sqrt{k}} )$, where $s$ is the number of blocks, and $k$ is the number of iterations. Multiple numerical results are provided to illustrate the superiority of the proposed B2B compared to the state-of-the-art works in solving NMF problems.

研究の動機と目的

• 非凸・非リプシッツな設定下でのブロックワイドBregmanBCD法の収束速度解析の欠如に対処すること。
• 2つの参照関数を用いることで反復的Bregman射影の計算的ボトル neck を克服し、閉形式解を可能にすること。
• サイクル的ルールと比較して、グリーディおよびランダムブロック選択ルールによるより速い収束速度を確立すること。
• 勾配がグローバルにリプシッツでない非凸最適化問題（例：NMF）に対して、グローバル収束を保証するアルゴリズムを提供すること。
• 古典的仮定を超えてBregman近似フレームワークを拡張し、構造的非凸問題における効率的かつスケーラブルな最適化を可能にすること。

提案手法

• 2つの参照関数を用いてBregman部分問題を2つの部分に分割することで、Bregman射影に対する閉形式解を導出するB2B法を提案する。
• グローバルにリプシッツ連続な勾配を仮定しない収束解析のため、Bregman距離に基づく相対的滑らかさフレームワークを採用する。
• サイクル的、グリーディ、ランダムの3種類のブロック選択ルールを用いたブロックワイド更新戦略を採用し、それぞれ異なる収束保証を提供する。
• Bregman距離を用いた降下補題を導出し、目的関数の減少量を定量化することで、相対的滑らかさの下での収束解析を可能にする。
• 目的関数の十分な減少を保証するとともに、計算効率を維持するステップサイズルールを導入する。
• 目的関数の勾配がグローバルにリプシッツでないNMF問題に本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 Bregmanに基づくブロック座標法は、グローバルにリプシッツ連続な勾配を仮定しない非凸・非リプシッツ問題に対し、グローバル収束を達成できるか？
• RQ2 2つの参照関数を導入することで、Bregman射影部分問題を閉形式で解けるか？
• RQ3 グリーディおよびランダムブロック選択ルール下でのB2B法の収束速度は、サイクル的更新と比較してどの程度速いか？
• RQ4 NMF問題において、提案手法B2Bは最先端の手法と比較して性能が優れているか？
• RQ5 相対的滑らかさフレームワークを活用することで、非凸設定下でのブロックワイドBregman法の収束速度を導出できるか？

主な発見

• B2B法は、サイクル的、グリーディ、ランダムの3つのブロック選択ルールすべてにおいて、静止点へのグローバル収束を達成する。
• グリーディおよびランダムブロック更新では収束速度が$Ó(\sqrt{s}/\sqrt{k})$ であり、サイクル的ルールの$Ó(s/\sqrt{k})$ と比較して$Ó(\sqrt{s})$ 速い。
• 2つの参照関数の導入により、Bregman射影の閉形式解が可能となり、反復的ソルバーと比較して計算コストが顕著に低減される。
• 数値実験の結果、B2Bは収束速度および解の品質の両面で、最先端の手法を上回る性能を示す。
• 収束速度の解析は厳密であり、グローバルにリプシッツ連続な勾配を仮定しない相対的滑らかさに基づく。
• 本手法は、NMF、テンソル分解、ポアソン尤度モデルを含む、信号処理およびデータ解析分野の広範な非凸問題に適用可能である。