[論文レビュー] Fast and Effective Computation of Generalized Symmetric Matrix Factorization

Lei Yang, Han Wan+2 more|arXiv (Cornell University)|Mar 19, 2026

Tensor decomposition and applications被引用数 0

ひとこと要約

GSMF を柔軟な非凸フレームワークとして導入し、厳密なペナルティ/緩和特性を証明し、平均型非単調線探索を用いた globally convergent な交互最適化アルゴリズム A-NAUM を開発する。

ABSTRACT

In this paper, we study a nonconvex, nonsmooth, and non-Lipschitz generalized symmetric matrix factorization model that unifies a broad class of matrix factorization formulations arising in machine learning, image science, engineering, and related areas. We first establish two exactness properties. On the modeling side, we prove an exact penalty property showing that, under suitable conditions, the symmetry-inducing quadratic penalty enforces symmetry whenever the penalty parameter is sufficiently large but finite, thereby exactly recovering the associated symmetric formulation. On the algorithmic side, we introduce an auxiliary-variable splitting formulation and establish an exact relaxation relationship that rigorously links stationary points of the original objective function to those of a relaxed potential function. Building on these exactness properties, we propose an average-type nonmonotone alternating updating method (A-NAUM) based on the relaxed potential function. At each iteration, A-NAUM alternately updates the two factor blocks by (approximately) minimizing the potential function, while the auxiliary block is updated in closed form. To ensure the convergence and enhance practical performance, we further incorporate an average-type nonmonotone line search and show that it is well-defined under mild conditions. Moreover, based on the Kurdyka-Łojasiewicz property and its associated exponent, we establish global convergence of the entire sequence to a stationary point and derive convergence rate results. Finally, numerical experiments on real datasets demonstrate the efficiency of A-NAUM.

研究の動機と目的

• RMF、NMF、MC、および関連定式化を網羅するマトリクス因子分解の統一モデルを動機づける。
• 対称性の強制と扱いやすい最適化を正当化するための厳密ペナルティと厳密緩和の特性を確立する。
• 平均型非単調線探索を伴う globally convergent な交互最適化アルゴリズム（A-NAUM）を開発・分析する。
• KL性質の下での収束保証を提供し、実データでの実用的な効率性を示す。

提案手法

• X、Y、正則化子 Psi および Phi、線形写像 A、対称性ペナルティ lambda を含む一般化対称行列因子分解（GSMF）問題を定義する。
• 補助変数 Z および緩和ポテンシャル Theta_alpha,beta,lambda を導入し、XY^T を A からデカップリングして単純なサブ問題と明示的な Z 更新を可能にする。
• 厳密ペナルティを証明：十分に大きな有限 lambda に対して、停留点は X=Y を満たし、対称モデル SRMF の停留点に対応する。
• 厳密緩和の関連を証明：適切なパラメータ関係のもと Theta_alpha,beta,lambda は GSMF と同値となり、F_lambda の停留点が Theta_alpha,beta,lambda の停留点に写る。
• A-NAUM を開発：XY の更新を交互に行い explicit な Z 更新を組み合わせ、前端寄りの proximal 型更新と線探索を用いる、平均型非 monotone な更新 FRAMEWORK。
• 収束解析：停留点への全体的収束と KL 性質による収束速度の結果を提供。

実験結果

リサーチクエスチョン

• RQ1 GSMF における二次対称ペナルティが十分に大きいとき、停留点で X=Y を強制する条件は何か。
• RQ2 XY^T を A からデカップリングして有効なサブ問題を得るために、補助変数を用いて GSMF をどのように再定式化できるか。
• RQ3 Theta_alpha,beta,lambda と平均型非monotone 線探索を活用して、グローバル収束を保証する交互最適化アルゴリズムを設計できるか。
• RQ4 提案アルゴリズムのKL仮定の下で、停留点の存在と収束速度などの収束特性を確立できるか。
• RQ5 実データ上で、対称性を近似する非負値分解（NMF）および関連タスクに対して、提案手法はベースラインと比べてどの程度の性能を示すか。

主な発見

• 厳密ペナルティの存在：十分に大きく有限な lambda に対して、GSMF の停留点は X=Y を満たし、SRMF の停留点に対応する。
• 厳密緩和：Theta_alpha,beta,lambda は適切なパラメータ関係の下で GSMF と同値となり、問題間の停留点の写像が成立する。
• A-NAUM は、Z 更新を明示的に行い、平均型非monotone 線探索を備えた柔軟でグローバル収束性を持つ交互フレームワークを提供する。
• KL性質を用いた停留点への収束とレート(results) の推定により、全体系列に対する頑健な理論的保証が確立される。
• 実データ上の数値実験は、対称性を近似する NMF および関連タスクにおいて、A-NAUM の効率と競争力のある性能を示す。