[論文レビュー] Iterative Methods for Symmetric Outer Product Tensor Decompositions

Na Li, Carmeliza Navasca|arXiv (Cornell University)|Dec 30, 2013

Tensor decomposition and applications参考文献 23被引用数 5

ひとこと要約

本稿では、3次部分対称テンソルおよび4次完全対称テンソルの対称的外積テンソル分解に対して、部分的列別最小二乗法（PCLS）アルゴリズムを提案する。最適化されたマトリシゼーションと多項式の根を求めることで因子行列を列別に更新することで、反復最小二乗法（ALS）に見られる遅い収束性とスワーム（swamps）を回避し、数値実験において顕著に高速な収束性とCPU時間の短縮を示した。

ABSTRACT

We study the symmetric outer product decomposition which decomposes a fully (partially) symmetric tensor into a sum of rank-one fully (partially) symmetric tensors. We present iterative algorithms for the third-order partially symmetric tensor and fourth-order fully symmetric tensor. The numerical examples indicate a faster convergence rate for the new algorithms than the standard method of alternating least squares.

研究の動機と目的

• 標準の反復最小二乗法（ALS）が対称的外積テンソル分解（SOPD）において遅い収束性と数値的不安定性（例：スワーム）を示す問題に対処すること。
• 3次部分対称テンソルおよび4次完全対称テンソルに特化した、より効率的な反復アルゴリズムの開発。
• 対称テンソルのALSにおける内蔵された冗長な最小二乗部分問題を排除することで、計算コストの低減。
• 最適化されたマトリシゼーション上で多項式の根を求めることで因子行列の列別更新を実現し、収束速度と安定性の向上。

提案手法

• 3次部分対称および4次完全対称テンソルのSOPDのための部分的列別最小二乗法（PCLS）アルゴリズムを提案する。
• モード-nマトリシゼーションを用いて、テンソル分解問題を効率的な行列形式に再構成する。
• 4次完全対称テンソルに対しては、ブロックごとの行列演算を可能にするために正方形マトリシゼーションを適用する。
• ALSにおける3つの非線形最小二乗部分問題を、列更新ごとに4次多項式の根を求めることに置き換える。
• 最適性条件から導かれる多項式方程式の根を求めるプロセスにより、因子行列の列別更新を実行する。
• 反復更新の過程でベクトル化された形から元の行列を再構成するためのアンベクト操作を採用する。

実験結果

リサーチクエスチョン

• RQ1 新しい反復手法が、対称テンソル分解においてALSに比べて収束速度と安定性で優れているかどうか。
• RQ2 PCLSアルゴリズムは、対称テンソル分解におけるALSで観察される「スワーム現象」をどのように緩和するか。
• RQ3 PCLSは、部分対称および完全対称テンソルの両方において、ALSに比べて計算時間と反復回数をどの程度削減できるか。
• RQ4 多項式の根の求め方が、対称テンソル分解において複数の最小二乗部分問題を効果的に置き換えることができるか。

主な発見

• サイズ17×17×18、ランク17の3次部分対称テンソルにおいて、PCLSは120反復、3.9919秒で収束した。一方ALSは、良い初期値を用いても1129反復、6.4126秒を要した。
• ランダムな初期値を用いた場合、PCLSは10⁻¹⁰の誤差に到達するまでにわずか205反復で収束したが、ALSは20,000反復経過しても10⁰の誤差で停止し、スワームを回避できる能力を示した。
• 50回のランダム初期化の平均では、PCLSは反復回数をALSの3,445.0から258.7に、CPU時間も17.1546秒から6.1413秒に削減した。
• テンソルサイズを10×10×10から90×90×90に増加させた場合、PCLSのCPU時間の増加は著しく緩やかだったが、ALSははるかに急激に増加した。
• ランク10の10×10×10×10の完全対称テンソルにおいて、PCLSはスワームを示さずに迅速に収束した。一方ALSは収束停滞を示した。
• ランク10の15×15×15×15完全対称テンソルにおいて、PCLSは4.2763秒で分解を完了したが、ALSは27.2149秒を要した。これにより、PCLSの優れた効率性が確認された。