[論文レビュー] Jacobi-type algorithm for low rank orthogonal approximation of symmetric tensors and its convergence analysis

Jianze Li, Konstantin Usevich+1 more|arXiv (Cornell University)|Nov 2, 2019

Tensor decomposition and applications参考文献 32被引用数 8

ひとこと要約

本稿では、対称テンソルの低ランク直交近似のためのジャコビ型アルゴリズムを提案し、よく知られたジャコビ CoM2 法を拡張する。勾配に基づく順序付けのもとで、3次対称テンソルのランク2近似に対してグローバル収束を確立し、追加の条件なしにグローバル収束を保証するプロキシマル変種を導入する。数値実験により、既存の手法よりも優れた性能を示すことが検証された。

ABSTRACT

In this paper, we propose a Jacobi-type algorithm to solve the low rank orthogonal approximation problem of symmetric tensors. This algorithm includes as a special case the well-known Jacobi CoM2 algorithm for the approximate orthogonal diagonalization problem of symmetric tensors. We first prove the weak convergence of this algorithm, extit{i.e.} any accumulation point is a stationary point. Then we study the global convergence of this algorithm under a gradient based ordering for a special case: the best rank-2 orthogonal approximation of 3rd order symmetric tensors, and prove that an accumulation point is the unique limit point under some conditions. Numerical experiments are presented to show the efficiency of this algorithm.

研究の動機と目的

• 対称テンソルの低ランク直交近似のための、強固でグローバルに収束するアルゴリズムの開発。
• ジャコビ CoM2 法を、ランク1およびフルランクのケースを超える一般の低ランク近似問題へ拡張すること。
• 3次対称テンソルのランク2ケースにおいて、特定の条件下でグローバル収束を確立すること。
• 制限のない仮定のもとでグローバル収束を保証するプロキシマル変種を提案すること。
• SLROAT やトレース・リージョン法といった既存手法と比較して、アルゴリズムの効率性とロバスト性を実験的に検証すること。

提案手法

• アルゴリズムは、ペアのキャノニカルベクトルに対して逐次ジャコビスイープを実行し、低ランク近似を反復的に改善する。
• ジャコビ反復における直交回転の順序を決定するために、勾配に基づく順序付け戦略を用いる。
• 一般ケースでは、最適化部分問題に二次正則化項を追加することで、プロキシマル変種を導入する。
• テンソルの畳み込み演算子 $\boldsymbol{\mathcal{A}}(\boldsymbol{M}) = \boldsymbol{\mathcal{A}} \mathop{\bullet_{1}} \boldsymbol{M}^{{\sf T}} \mathop{\bullet_{2}} \cdots \mathop{\bullet_{d}} \boldsymbol{M}^{{\sf T}}$ を活用して、残差更新を効率的に計算する。
• 収束解析は、弱収束点の性質と直交変換下での対称テンソルの構造に依拠する。
• 数値実験では、合成データおよび実世界のテンソルデータを用いて、本手法を SLROAT およびトレース・リージョン法と比較する。

実験結果

リサーチクエスチョン

• RQ1 ジャコビ型アルゴリズムは、対称テンソルの低ランク直交近似に対してグローバル収束を達成できるか？
• RQ2 勾配に基づく順序付けのもとで、3次対称テンソルのランク2近似においても、アルゴリズムは収束性と性能を維持するか？
• RQ3 プロキシマル変種は、追加の仮定なしにグローバル収束を保証できるか？
• RQ4 SLROAT やトレース・リージョン法と比較して、提案手法の性能と安定性はいかがなっているか？
• RQ5 実際の収束点において、臨界最適性条件を満たす頻度はどの程度か？

主な発見

• 提案されたジャコビ型アルゴリズムは、勾配に基づく順序付けのもとで、3次対称テンソルの最良ランク2直交近似に対してグローバル収束を達成し、ある条件下では蓄積点が一意であることが示された。
• プロキシマル変種は、追加の仮定なしにグローバル収束を保証するため、非プロキシマル手法よりもよりロバストである。
• 例6.1では、$p > 2$ の場合に JLROA が SLROAT を上回り、$p=8$ 時に1000例中900例が同等以上に優れた結果を示した。
• 例6.2では、JLROA は SLROAT や LROAT を常に上回り、SHOPM や SLROAT が収束に失敗するケースでも安定して性能を発揮した。
• 例6.3では、$p > 2$ の場合にのみトレース・リージョン法が JLROA を上回り、$p=1$ および $p=2$ 時には JLROA の性能が著しく劣り（それぞれ RatioG = 211.78 および 5.03）、顕著な差が生じた。
• 例6.4では、1000例のランダム試行のうち991例で臨界最適性条件が満たされた（$\omega > 0.0001$）、すなわち収束先が意味のある停留点に到達する頻度が高いことが示された。