[論文レビュー] Alternating minimization algorithms for graph regularized tensor completion

Yu Guan, Shuyu Dong+3 more|arXiv (Cornell University)|Aug 28, 2020

Tensor decomposition and applications参考文献 44被引用数 4

ひとこと要約

本稿では、CP分解を用いたグラフ正則化付きテンソル補完のための交互最小化およびADMMアルゴリズムを提案する。グラフラプラシアン正則化を活用することで、低ランクテンソル回復の精度が向上する。これらの手法は、特に低サンプリングレート下でも優れた精度と効率性を達成しており、Kurdyka-Łojasiewicz性質を用いた解析により、グローバル収束が証明されている。

ABSTRACT

We consider a Canonical Polyadic (CP) decomposition approach to low-rank tensor completion (LRTC) by incorporating external pairwise similarity relations through graph Laplacian regularization on the CP factor matrices. The usage of graph regularization entails benefits in the learning accuracy of LRTC, but at the same time, induces coupling graph Laplacian terms that hinder the optimization of the tensor completion model. In order to solve graph-regularized LRTC, we propose efficient alternating minimization algorithms by leveraging the block structure of the underlying CP decomposition-based model. For the subproblems of alternating minimization, a linear conjugate gradient subroutine is specifically adapted to graph-regularized LRTC. Alternatively, we circumvent the complicating coupling effects of graph Laplacian terms by using an alternating directions method of multipliers. Based on the Kurdyka-Łojasiewicz property, we show that the sequence generated by the proposed algorithms globally converges to a critical point of the objective function. Moreover, the complexity and convergence rate are also derived. In addition, numerical experiments including synthetic data and real data show that the graph regularized tensor completion model has improved recovery results compared to those without graph regularization, and that the proposed algorithms achieve gains in time efficiency over existing algorithms.

研究の動機と目的

• 部分観測下における低ランクテンソル補完を、外部の類似性情報（グラフ正則化）を統合することで解決すること。
• CP分解におけるブロック構造を活用することで、最適化におけるグラフラプラシアン項の結合的影響を克服する計算課題に対処すること。
• グラフ正則化付きテンソル補完を効果的に行うための効率的アルゴリズム（線形CGを用いた交互最小化およびADMM）を開発すること。
• Kurdyka-Łojasiewicz性質を用いて、交互最小化のグローバル収束を確立し、収束速度を導出すること。
• 合成および実世界のデータセットを用いた実験的検証を通じて、提案モデルおよびアルゴリズムの性能を評価し、回復精度の向上を示すこと。

提案手法

• 要因行列に対するグラフラプラシアン正則化を施したCPベースのテンソル補完モデルを定式化し、対象となる類似関係を活用する。
• 各部分問題を、効率的なヘッシアン・ベクトル積を伴う線形共役勾配（CG）法で解く交互最小化アルゴリズムを構築する。
• グラフ正則化の影響を分離し、最適化の安定性を向上させるために、ADMMに基づく代替手法を導入する。
• Kurdyka-Łojasiewicz性質を用いて、交互最小化の収束列が臨界点に収束することを証明する。
• CP分解に由来するブロック構造を有する部分問題に適応した線形CGサブルーチンを設計する。
• テンソルモード上での類似性グラフから導出されるグラフラプラシアン行列を用いて、要因行列を正則化する。

実験結果

リサーチクエスチョン

• RQ1 観測エントリの割合が非常に小さい状況下でも、グラフ正則化がテンソル補完の精度を向上させることができるか？
• RQ2 テンソル補完のための交互最小化において、グラフラプラシアン項の結合的影響を効果的に軽減する方法は何か？
• RQ3 グラフ正則化付きCPテンソル補完を解くために最も効果的な最適化アルゴリズムは何か？また、収束性と効率性において、他の手法とどのように比較できるか？
• RQ4 提案手法はグローバル収束を達成するか？理論的収束速度は何か？
• RQ5 回復精度と時間効率の両面において、提案手法のアルゴリズムは最先端手法を上回る性能を示すか？

主な発見

• グラフ正則化付きテンソル補完モデルは、非正則化モデルに比べて回復精度が顕著に向上し、特に低サンプリングレート（例：0.3%および0.5%）下で顕著である。
• 提案されたAltMin-CGおよびADMMアルゴリズムは、合成および実データセットにおいて、AirCP、TFAI、BPTFといった最先端手法を上回る最低のテストRMSEを達成した。
• AltMin-CGおよびADMMは、1イテレーションあたりのトレーニング誤差低減の観点で、時間的効率性に優れ、高速なアルゴリズムに分類される。
• MovieLensおよびFIAデータセットにおいても、アルゴリズムは安定した性能を示し、観測が疎であっても低RMSEを維持した。
• 数値実験により、交互最小化アルゴリズムのグローバル収束が確認され、Kurdyka-Łojasiewicz性質を用いた理論的分析によって裏付けられた。
• 効率的なヘッシアン・ベクトル積を伴う線形CGサブルーチンにより、部分問題の高速解法が可能となり、全体のアルゴリズム的効率が向上した。