[論文レビュー] Inertial Stochastic PALM and its Application for Learning Student-t Mixture Models.

Johannes Hertrich, Gabriele Steidl|arXiv (Cornell University)|May 5, 2020

Sparse and Compressive Sensing Techniques参考文献 31被引用数 2

ひとこと要約

本稿では、滑らかでない非凸目的関数を最小化するための、SPRINGアルゴリズムの慣性的確率的変種であるiSPRINGを提案する。弱い仮定のもとで線形収束を達成する。さらに、慣性的PALM手法（決定的および確率的）が、スルーデントt混合モデルの学習に適用可能であることを示し、理論的収束性とベースライン手法に対する性能向上を示している。

ABSTRACT

Inertial algorithms for minimizing nonsmooth and nonconvex functions as the inertial proximal alternating linearized minimization algorithm (iPALM) have demonstrated their superiority with respect to computation time over their non inertial variants. In many problems in imaging and machine learning, the objective functions have a special form involving huge data which encourage the application of stochastic algorithms. While the stochastic gradient descent algorithm is still used in the majority of applications, recently also stochastic algorithms for minimizing nonsmooth and nonconvex functions were proposed. In this paper, we derive an inertial variant of the SPRING algorithm, called iSPRING, and prove linear convergence of the algorithm under certain assumptions. Numerical experiments show that our new algorithm performs better than SPRING or its deterministic counterparts, although the improvement for the inertial stochastic approach is not as large as those for the inertial deterministic one. The second aim of the paper is to demonstrate that (inertial) PALM both in the deterministic and stochastic form can be used for learning the parameters of Student-$t$ mixture models. We prove that the objective function of such models fulfills all convergence assumptions of the algorithms and demonstrate their performance by numerical examples.

研究の動機と目的

• 機械学習や画像処理で一般的な大規模で滑らかでない非凸問題を対象とした、慣性的確率的最適化アルゴリズムの開発。
• 慣性的手法の収束理論を確率的設定に拡張し、適切な仮定のもとで線形収束を保証すること。
• スルーデントt混合モデルのような複雑な統計的モデルの学習における、慣性的PALM変種の実用的有用性の実証。
• 合成的および実世界の設定において、iSPRINGと非慣性的および決定的アルゴリズムとの間で性能を比較すること。

提案手法

• iSPRINGをSPRINGアルゴリズムの慣性的変種として導出する。確率的近接勾配ステップにモーメンタムに類似した加速を組み込む。
• 過去の反復点を活用する適応的モーメンタム機構を導入し、確率的非凸最適化における収束加速を実現する。
• 弱凸性および目的関数の半代数的構造といった標準的仮定のもとで、iSPRINGの線形収束を証明する。
• スルーデントt混合モデルのパラメータ学習に、慣性的PALMフレームワークを適用する。対数尤度を滑らかでない非凸最適化問題として定式化する。
• ブロックワイズ更新と、混合モデルの潜在変数構造に適合した近接作用素を用いる。
• 数値実験により、SPRINGおよび決定的PALMとの収束速度と解の品質を比較して手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 滑らかでない非凸最適化のための確率的アルゴリズムに、慣性的加速を効果的に拡張できるか？
• RQ2 提案されたiSPRINGアルゴリズムは、妥当な仮定のもとで確率的設定において線形収束を達成するか？
• RQ3 収束速度と解の品質の観点から、iSPRINGはSPRINGおよび決定的PALMよりも優れているか？
• RQ4 慣性的PALM手法は、スルーデントt混合モデルの学習に効果的に適用可能か？また、目的関数は収束条件を満たしているか？
• RQ5 重尾混合モデルにおける確率的最適化における慣性の実験的影響は何か？

主な発見

• 提案されたiSPRINGアルゴリズムは、弱い仮定のもとで線形収束を達成し、慣性的手法の理論的保証を確率的設定に拡張した。
• 数値実験の結果、iSPRINGは収束速度と解の品質の両面でSPRINGおよびその決定的対応物を上回っているが、決定的ケースほど顕著な改善は見られない。
• スルーデントt混合モデルの目的関数は、慣性的PALMアルゴリズムの収束に必要なすべての条件を満たしており、その使用に理論的根拠を与える。
• 実験的結果から、決定的および確率的両方の慣性的PALM手法が、スルーデントt混合モデルの学習に有効であることが示された。特にiSPRINGは大規模データに対して堅牢な性能を示した。
• 確率的設定において、慣性機構は測定可能な加速をもたらすが、決定的対応物ほど顕著ではない。これは、さらなるアルゴリズムの洗練の余地があることを示唆している。