[論文レビュー] Beyond Alternating Updates for Matrix Factorization with Inertial Bregman Proximal Gradient Algorithms

Mahesh Chandra Mukkamala, Peter Ochs|arXiv (Cornell University)|Jan 1, 2019

Sparse and Compressive Sensing Techniques被引用数 8

ひとこと要約

本稿では、インertial Bregman近似勾配法を用いて非交互最適化を可能にする、行列分解のための新しいBregman距離を提案する。この手法により、局所最適解へのグローバル収束が保証され、従来の交互スキームと比較して収束速度が速く、目的関数値も優れている。

ABSTRACT

Matrix Factorization is a popular non-convex optimization problem, for which alternating minimization schemes are mostly used. They usually suffer from the major drawback that the solution is biased towards one of the optimization variables. A remedy is non-alternating schemes. However, due to a lack of Lipschitz continuity of the gradient in matrix factorization problems, convergence cannot be guaranteed. A recently developed approach relies on the concept of Bregman distances, which generalizes the standard Euclidean distance. We exploit this theory by proposing a novel Bregman distance for matrix factorization problems, which, at the same time, allows for simple/closed form update steps. Therefore, for non-alternating schemes, such as the recently introduced Bregman Proximal Gradient (BPG) method and an inertial variant Convex--Concave Inertial BPG (CoCaIn BPG), convergence of the whole sequence to a stationary point is proved for Matrix Factorization. In several experiments, we observe a superior performance of our non-alternating schemes in terms of speed and objective value at the limit point.

研究の動機と目的

• 行列分解における交互最小化スキームのバイアス問題を解消する。この問題は、一方の変数を他方よりも優遇する傾向がある。
• 行列分解において勾配のリプシッツ連続性が欠如していることによる問題を克服する。これは、標準的な非交互手法の収束を妨げる要因である。
• 閉形式での更新ステップをサポートするとともに、非交互最適化に対する収束保証を可能にするBregman距離を開発する。
• Bregman近似勾配（BPG）法およびインエラスティックCoCaIn BPG法を行列分解に拡張し、理論的収束性を確立する。
• 実験的に、従来の交互スキームと比較して収束速度と目的関数値の両面で優れた性能を示す。

提案手法

• 行列分解問題に特化した新しいBregman距離を提案し、標準的なユークリッド距離に置き換える。
• 非交互最適化のためのBregman近似勾配（BPG）法およびそのインエラスティック版であるCoCaIn BPG法を適用する。
• Bregman距離を設計して、反復的ソルバーを必要としない閉形式での更新ステップを実現する。
• 提案されたフレームワーク下で、全列が局所最適解に収束することを理論的に確立する。
• 一般化されたBregman距離を活用して、行列分解において通常破綻する勾配のリプシッツ連続性の必要性を回避する。
• CoCaIn BPGの変種においてインエラスティック項を導入し、収束速度を加速するとともに収束保証を維持する。

実験結果

リサーチクエスチョン

• RQ1 行列分解に特化した新しいBregman距離を設計できるか。その結果、閉形式での更新が可能な非交互最適化が可能になるか。
• RQ2 インエラスティック項を含む非交互BPG法が、行列分解においてグローバルに局所最適解に収束するか。
• RQ3 提案手法の収束速度と最終的な目的関数値は、交互最小化法と比較してどのように異なるか。
• RQ4 提案されたBregman距離は、行列分解問題における勾配のリプシッツ連続性の欠如を克服できるか。
• RQ5 インエラスティック項は、行列分解における収束行動と解の品質にどのような影響を与えるか。

主な発見

• 提案されたBregman距離により、非交互行列分解における閉形式での更新ステップが可能となり、実装が簡素化され、計算効率が向上する。
• 提案されたフレームワーク下で、BPGおよびCoCaIn BPGの両方において、全列が局所最適解に収束することが理論的に保証される。
• 非交互スキームは、標準的な交互最小化手法と比較して、より速い収束速度を達成する。
• 複数の実験において、収束時の目的関数値が交互スキームよりも一貫して優れている。
• インエラスティック版であるCoCaIn BPGは、収束を加速しながらも収束保証を維持する。
• 特化したBregman距離を活用することで、行列分解で一般的に見られる非リプシッツ勾配問題を効果的に処理できる。