[論文レビュー] Tensor Networks for Latent Variable Analysis. Part I: Algorithms for Tensor Train Decomposition

Anh Huy Phan, Andrzej Cichocki+4 more|arXiv (Cornell University)|Sep 29, 2016

Tensor decomposition and applications参考文献 20被引用数 11

ひとこと要約

本稿では、1つまたは複数のコアテンソルを同時に更新する新しい交替最適化アルゴリズムを導入し、大規模データにおける数値的安定性とスケーラビリティを向上させるテンソル・トレイン（TT）分解のためのものである。提案手法は、従来の切り捨て特異値分解（SVD）に基づくTTアルゴリズムと比較して、ブラインド・ソース分離、ノイズ除去、特徴抽出の分野で優れた性能を発揮する。

ABSTRACT

Decompositions of tensors into factor matrices, which interact through a core tensor, have found numerous applications in signal processing and machine learning. A more general tensor model which represents data as an ordered network of sub-tensors of order-2 or order-3 has, so far, not been widely considered in these fields, although this so-called tensor network decomposition has been long studied in quantum physics and scientific computing. In this study, we present novel algorithms and applications of tensor network decompositions, with a particular focus on the tensor train decomposition and its variants. The novel algorithms developed for the tensor train decomposition update, in an alternating way, one or several core tensors at each iteration, and exhibit enhanced mathematical tractability and scalability to exceedingly large-scale data tensors. The proposed algorithms are tested in classic paradigms of blind source separation from a single mixture, denoising, and feature extraction, and achieve superior performance over the widely used truncated algorithms for tensor train decomposition.

研究の動機と目的

• 部分的SVDに基づく従来のTT分解アルゴリズムに内在する、近似誤差の非最適性およびランク最小性の欠如という限界を解消すること。
• 大規模テンソルを効率的に処理できる、数値的に安定でスケーラブルなTT分解アルゴリズムの開発。
• ブラインド・ソース分離、ノイズ除去、特徴抽出といった標準的な信号処理および機械学習の枠組みにおけるテンソル・ネットワークの有効な応用を可能にすること。
• 複数のコアテンソルを同時に最適化する交替更新スキームの提案により、収束性と近似品質の向上を図ること。
• テンソルの展開とTucker-2分解を用いることで、保証された低ランク構造と計算コストの低減を実現するTT分解のフレームワークの構築。

提案手法

• TT分解を順序4テンソルの低ランク行列分解に再定式化することで、2つの連続するコアテンソルを更新する「交替二コア更新（ADCU）」アルゴリズムを提案する。
• 展開されたテンソル $[oldsymbol{ au}_{n,n+1}]_{(1,2)}$ に対して切り捨て特異値分解（SVD）を適用し、新しいコアテンソルを計算することで、ランク最小性と数値的安定性を確保する。
• 3つの連続するコアを更新するため、結合されたテンソルを順序3テンソルに再形状し、Tucker-2分解を適用する「交替三コア更新（ATCU）」アルゴリズムを導入する。
• 左直交化を用いて中間コアテンソルに固有値スケーリングを施し、数値的安定性を維持するとともに、分解の一意性を強制する。
• モード-(1,2)およびモード-(4,5)の展開を用いて、高次元テンソルの結合を行列演算に変換し、計算複雑度を低減する。
• SVDステップにおける適応的切断を導入し、誤差許容範囲内での近似を可能にする誤差許容制御を統合する。

実験結果

リサーチクエスチョン

• RQ1 信号処理および機械学習における大規模データテンソルに対して、どのようにしてTT分解の安定性とスケーラビリティを向上させることができるか？
• RQ2 複数のコアを同時に更新することの、TT分解の近似精度および収束速度に与える影響は何か？
• RQ3 低ランク行列分解およびTucker-2分解を活用する交替最適化スキームは、従来の切り捨てSVDに基づくTTアルゴリズムを上回る性能を発揮できるか？
• RQ4 特にランクが事前に不明な状況下でも、所定の近似誤差を維持しつつTTランクを最小化するにはどうすればよいか？
• RQ5 提案されたアルゴリズムは、単一混合からのブラインド・ソース分離や画像ノイズ除去といった実世界の応用において、どの程度性能が向上するか？

主な発見

• 提案されたADCUおよびATCUアルゴリズムは、標準的な切り捨てSVDに基づくTT分解と比較して、特にノイズが多いまたは悪条件な状況下でも顕著に高い近似精度を達成する。
• ATCUアルゴリズムは、$R_{n-1}I_n$ や $R_{n+2}I_{n+2}$ が対応するランクよりも著しく大きい場合に、中間テンソル $oldsymbol{ au}_{n:n+2}$ を $R_n imes I_{n+1} imes R_{n+1}$ のサイズに圧縮することで計算コストを低減する。
• ATCUにおける左直交化ステップにより、中間コアテンソル $oldsymbol{ au}_{n+1}$ が $oldsymbol{ au}_{n+1} lacktriangleleft_2 oldsymbol{ au}_{n+1} = ext{diag}(oldsymbol{ u}_n)$ を満たすことが保証され、最適化プロセスの安定性が向上する。
• これらのアルゴリズムは、単一混合からのブラインド・ソース分離、画像ノイズ除去、特徴抽出といった古典的な信号処理タスクにおいて有効であることが示され、既存手法を上回る性能を発揮する。
• ATCUにおけるTucker-2分解の活用により、三コア結合の効率的な低ランク近似が可能となり、精度と計算効率の両方を向上させる。
• 提案手法は、テンソルの展開とSVDを介して大規模テンソル問題を小さな部分問題に還元するため、非常に大規模なデータテンソルに対してもスケーラブルかつ取り扱い可能である。