[論文レビュー] Tensor Deflation for CANDECOMP/PARAFAC. Part 3: Rank Splitting

Anh Huy Phan, Petr Tichavský+1 more|arXiv (Cornell University)|Jun 16, 2015

Tensor decomposition and applications参考文献 16被引用数 4

ひとこと要約

本稿では、CANDECOMP/PARAFAC (CPD) のためのブロックテンソル縮約法を提案する。この手法は、ランク-R テンソルから同時に2つのランク-1成分（つまり、多次元ランク-(2,2,2) テンソル）を抽出することで、テンソルランクを2つ削減する。この方法は、反復ごとに4つのベクトルと2つのスカラーを各モードで推定する交替的部分空間更新（ASU）アルゴリズムを用い、1反復あたり O(R³) の計算量を実現する。これは、ランク-R テンソルに対する標準的な ALS よりも顕著に計算コストを低減する。

ABSTRACT

CANDECOMP/PARAFAC (CPD) approximates multiway data by sum of rank-1 tensors. Our recent study has presented a method to rank-1 tensor deflation, i.e. sequential extraction of the rank-1 components. In this paper, we extend the method to block deflation problem. When at least two factor matrices have full column rank, one can extract two rank-1 tensors simultaneously, and rank of the data tensor is reduced by 2. For decomposition of order-3 tensors of size R x R x R and rank-R, the block deflation has a complexity of O(R^3) per iteration which is lower than the cost O(R^4) of the ALS algorithm for the overall CPD.

研究の動機と目的

• 高次元テンソルにおいて一般にランク-1成分を1つずつ逐次的に抽出できないという、テンソル分解における逐次ランク-1縮約の限界を解決すること。
• 少なくとも2つの要因行列がフルランクである場合に、2つのランク-1成分を同時に抽出可能とする（ブロック縮約を可能とする）手法を開発すること。
• 現在 ALS で O(R⁴) の計算量を要する、サイズ R×R×R でランク R の3次テンソルの CPD の計算量を、O(R³) の計算量を有するブロック縮約アルゴリズムを提案することで低減すること。

提案手法

• 本手法は、ランク-R テンソルを、多次元ランク-(2,2,2) テンソルとランク-(R−2,R−2,R−2) テンソルの和に分解することで、ブロックテンソル縮約問題を定式化する。
• 2つの要因ベクトルの集合（各モードで合計4つのベクトル）と各モードの2つのスカラーを推定する交替的部分空間更新（ASU）アルゴリズムを導入し、ブロック成分を表現する。
• 2×2×2 テンソルは閉形式で分解可能であるという事実を活用し、ブロックテンソルから直接2つのランク-1成分を抽出可能にする。
• 直交射影と部分空間制約を用いて、抽出された成分が直交し、残差テンソルのランクが低くなるように保証する。
• Tucker および Kruskal テンソル表現を用いてブロック成分を表現し、要因行列がフルランクである条件の下で分解の一意性を保証する。
• 本手法は、全CPD反復を避ける代わりに、各反復で低次元の部分問題を解くことで、計算効率を実現する。

実験結果

リサーチクエスチョン

• RQ1 高ランクテンソルから、逐次的ではなく同時に2つのランク-1成分を抽出することは可能か？
• RQ2 このようなブロック縮約法の計算量は、CPD における標準的な ALS と比較してどの程度か？
• RQ3 ブロック縮約法が一意的かつ安定な分解を保証する条件は何か？
• RQ4 本手法は、サイズ R×R×R のランク-R テンソルに対して、既存の CPD アルゴリズムと比較して精度と効率の点でどのように優れるか？
• RQ5 ブロック縮約法は、より高次元のテンソルや他のテンソル形式へ拡張可能か？

主な発見

• 提案されたブロック縮約アルゴリズムは、サイズ R×R×R でランク R の3次テンソルに対して、1反復あたり O(R³) の計算量を達成する。これは、標準的な ALS の O(R⁴) の計算量よりも低い。
• 本手法は各モードで4つのベクトルと2つのスカラーのみを必要とし、全CPDアルゴリズムと比較してメモリ使用量と計算コストを顕著に低減する。
• 抽出されたブロック成分の要因行列がフルランクである場合、分解が一意的であることが保証される。
• 縮約後の残差テンソルのランクが (R−2) であることが確認され、意図した通りテンソルランクが2つ減少していることが裏付けられる。
• 2×2×2 テンソルの閉形式解を用いて、2つのランク-1成分を直接抽出可能であり、数値的安定性と効率性を確保する。
• 理論的分析により、抽出された多次元ランク-(2,2,2) テンソルが元のテンソルの2つのランク-1成分に正確に対応しており、ブロック成分に近似誤差がないことが確認された。