[論文レビュー] Non-Orthogonal Tensor Diagonalization, a Tool for Block Tensor Decompositions

Petr Tichavský, Anh Huy Phan+1 more|arXiv (Cornell University)|Feb 7, 2014

Tensor decomposition and applications被引用数 4

ひとこと要約

本稿では、ユニモジュラー変換行列を用いて2つ以上のモードにわたって同時に非直交テンソルの対角化を実行するアルゴリズムを導入し、効率的なブロックテンソル分解を可能にする。この手法は3-wayテンソルに対して1反復あたりO(N⁴)の計算量を達成し、コマリエントベースの独立部分空間分析、テンソルデコンボリューション、特徴抽出への応用をサポートする。

ABSTRACT

This paper presents algorithms for non-orthogonal tensor diagonalization, which can be used for block tensor decomposition. The diagonalization can be performed along two or more tensor dimensions simultaneously. The method seeks for one diagonalizing matrix of determinant 1 for each mode that together convert a given tensor into a tensor that meets a block revealing condition. Perturbation analysis of the algorithm showing how small changes in the tensor translate in small changes of the diagonalization outcome is provided. The algorithm has a low computational complexity, comparable to complexity of the fastest available canonical polyadic decomposition algorithms. For example, the diagonalization of order-3 tensor of the size NxNxN has the complexity of the order O(N^4) per iteration. If the tensor has a different shape, a Tucker compression should be applied prior to the diagonalization. The algorithm can be applied in cumulant-based independent subspace decomposition or for tensor deconvolution and feature extraction using the convolutive model.

研究の動機と目的

• 複数のテンソルモードにわたるブロックテンソル分解を可能にする非直交テンソル対角化フレームワークの構築。
• 既存のテンソル分解手法と比較して計算量を低減しつつ、数値的安定性を維持すること。
• 小さなテンソル摂動に対するロバストネスを保証するための摂動解析の提供。
• コマリエントベースの独立部分空間分析を含む高次モーメント統計への応用。
• 特徴抽出およびテンソルデコンボリューションのための記号的モデルへの適用可能性の拡張。

提案手法

• 入力テンソルをブロックを露わにする形に変換するため、各テンソルモードごとに1つのユニモジュラー（行列式が1）の対角化行列を計算する。
• 反復的最適化手法を用いて、2つ以上のテンソルモードにわたる同時対角化を実行する。
• テンソルの次元が立方体でない場合に、計算負荷を低減するためTucker圧縮を活用する。
• 入力の微小な変更が対角化結果に与える感度を定量化するための摂動解析を導出する。
• 最も高速なカノニカルパーオイド分解手法と同等の計算量を有するようにアルゴリズムを設計する。
• コア変換により、結果として得られるテンソルがブロック構造を露わにし、後続の分解タスクを容易にする。

実験結果

リサーチクエスチョン

• RQ1 複数のテンソルモードにわたる非直交テンソル対角化を効率的かつ同時に実行する方法は何か？
• RQ2 提案された対角化アルゴリズムの計算量は何か？ また、既存のテンソル分解手法と比較してどうなるか？
• RQ3 入力テンソルの小さな摂動に対して、対角化結果はどの程度感度を示すか？
• RQ4 対角化フレームワークは、コマリエントベースの独立部分空間分析にどのように応用できるか？
• RQ5 この手法は、記号的モデルにおけるテンソルデコンボリューションおよび特徴抽出に拡張可能か？

主な発見

• 提案されたアルゴリズムは、サイズNxNxNの3次テンソルに対して1反復あたりO(N⁴)の計算量を達成する。
• ユニモジュラー変換行列を用いて、2つ以上のテンソルモードにわたる同時に対角化を実現できる。
• 摂動解析により、入力テンソルの微小な変更が、対角化結果に対しても同様に微小な変化を引き起こすことが確認された。
• 立方体でない形状のテンソルに対して、Tucker圧縮は効率性を維持するための有効な前処理ステップである。
• コマリエントベースの独立部分空間分析に適したブロックテンソル分解を可能にする。
• テンソルデコンボリューションおよび記号的モデルにおける特徴抽出への応用が可能であり、広範な実用性を示している。