[論文レビュー] The trouble with tensor ring decompositions

Kim Batselier|arXiv (Cornell University)|Nov 9, 2018

Tensor decomposition and applications参考文献 27被引用数 8

ひとこと要約

本稿は、テンソルリング（TR）分解における深刻な欠陥を特定する。TR丸めアルゴリズムは、縮約やハダマード積などの一般的な演算後に最小ランク表現を回復できない。指数関数的に大きなテンソル上で効率的な線形代数を実行できる一方で、修正不能なランクの増大が生じ、これはテンソルトレイン分解と比較して実用的応用における制限を深刻に引き起こす。

ABSTRACT

The tensor train decomposition decomposes a tensor into a "train" of 3-way tensors that are interconnected through the summation of auxiliary indices. The decomposition is stable, has a well-defined notion of rank and enables the user to perform various linear algebra operations on vectors and matrices of exponential size in a computationally efficient manner. The tensor ring decomposition replaces the train by a ring through the introduction of one additional auxiliary variable. This article discusses a major issue with the tensor ring decomposition: its inability to compute an exact minimal-rank decomposition from a decomposition with sub-optimal ranks. Both the contraction operation and Hadamard product are motivated from applications and it is shown through simple examples how the tensor ring-rounding procedure fails to retrieve minimal-rank decompositions with these operations. These observations, together with the already known issue of not being able to find a best low-rank tensor ring approximation to a given tensor indicate that the applicability of tensor rings is severely limited.

研究の動機と目的

• 線形代数的演算後のテンソルリング（TR）分解が最小ランクを維持するという制限を調査すること。
• 縮約やハダマード積などの操作後に、TR丸め手順が正確な最小ランク表現を回復できないことを示すこと。
• このような操作後のTRとテンソルトレイン（TT）のストレージ複雑度とランク挙動を比較すること。
• 最小ランクTR近似が存在しないことと、丸めの失敗が組み合わさった結果、実用的応用におけるTRの適用範囲が著しく制限されることを示すこと。

提案手法

• 3-wayコアテンソルを用いて、リング構造で接続された補助インデックスを持つd方向テンソルをテンソルリング形式で構築する。
• クリロネッカー積に基づく行列展開を用いて、2つのTR分解済みテンソル間のハダマード積を実行し、結果として元のランクの積に等しいTRランクが得られる。
• 得られたハダマード積にTR丸めアルゴリズムを適用し、ランクを最小値に低減することを試みる。
• TR結果をテンソルトレイン（TT）表現に変換し、ストレージ複雑度を比較し、TT丸めによって最小ランクが回復可能かどうかを評価する。
• TRコアテンソルのスケーリングされた特異値プロファイルを分析し、誤差なしに切断可能かどうかを評価する。
• TT形式からのTR再構築を行い、再びTR丸めを適用して、より低いランクの代替表現が存在するかをテストする。

実験結果

リサーチクエスチョン

• RQ1 ハダマード積操作後にTR丸めアルゴリズムは、正確な最小ランクTR分解を回復できるか？
• RQ2 縮約やハダマード積の適用が、TR分解における回復不能なランクの増大を引き起こすか？
• RQ3 繰り返しの操作後に、TR表現のストレージ複雑度はTT表現と比べてどの程度か？
• RQ4 直接クリロネッカー積構築法によるものと比較して、ハダマード積のTR表現でより低いランクが得られるか？
• RQ5 TR丸めの失敗が、大規模テンソル計算におけるテンソルリング分解の実用的有用性をどの程度損なうか？

主な発見

• ハダマード積操作後にTR丸めアルゴリズムはランクを低減できない。丸め後のTRランクは元のTRランクの二乗に等しくなる（例：R=3 → 丸め後ランク9）。
• R≥5の場合、ハダマード積の最大TTランクは216で一定であり、TTベースの丸めによってストレージ複雑度をこれ以上低減できないことが示された。
• TR表現のストレージ複雑度は元のTRランクに比例して増加し、Rが3から12に増加するに従い、TRとTTのストレージ比は0.13から7.78に増加した。
• TRコアテンソルの特異値プロファイルは、相対誤差が少なくとも100%に達するまで切断が不可能であることを示しており、現在のTR表現が最小でないことを確認した。
• TT表現からTRを再構築し、再びTR丸めを適用すると、より低いランク（例：R≥4の場合最大ランク108）が得られ、より低いランクのTR表現が存在するが、標準的なTR丸めではそのような表現が得られないことを証明した。
• R≥7の場合、TT変換とTR丸めを経て得られるTR表現は、直接クリロネッカー積法よりもストレージ複雑度が低く、標準的なTR丸め手順が最適でないことを示した。