[論文レビュー] A literature survey of low-rank tensor approximation techniques

Lars Grasedyck, Daniel Kreßner+1 more|arXiv (Cornell University)|Feb 28, 2013

Tensor decomposition and applications参考文献 186被引用数 55

ひとこと要約

本調査は、高次元問題に由来する関数関連テンソルを焦点として、低ランクテンソル近似技術の包括的概要を提供する。CP、 Tucker、 TT、および階層的 Tuckerといった主要なテンソル分解をレビューし、低ランク形式における線形方程式系および固有値問題の数値的アルゴリズムを提示することで、高次元における効率的な計算を可能にする。

ABSTRACT

During the last years, low-rank tensor approximation has been established as a new tool in scientific computing to address large-scale linear and multilinear algebra problems, which would be intractable by classical techniques. This survey attempts to give a literature overview of current developments in this area, with an emphasis on function-related tensors.

研究の動機と目的

• 多変数関数から導かれるテンソルのための低ランクテンソル近似技術に関する統一的な文献調査を提供すること。
• 高次元テンソルにおける次元の呪いを克服し、圧縮された保存と計算を可能にすること。
• 線形方程式系および固有値問題を解くために、直接的に低ランクテンソル形式で動作する数値的アルゴリズムをレビューすること。
• 偏微分方程式（PDEs）、量子力学、確率的モデリングを含む科学計算分野における応用を強調すること。
• TTおよび階層的 Tucker形式に焦点を当てつつ、分野における他の重要な発展も認識すること。

提案手法

• CP、 Tucker、テンソル・トレイン（TT）、および階層的 Tuckerといったテンソル分解を用いて、高次元テンソルを圧縮形で表現する。
• ランクを明らかにする因子分解と交互最小二乗法（ALS）アルゴリズムを用いて、低ランク近似を計算する。
• 完全なテンソルを形成せずに、低ランク形式で線形方程式系および固有値問題を解く。
• 高次元問題における複雑さを管理するために、階層的および木構造形式（例：Tucker木）を導入する。
• テンソルグリッド上の関数サンプリングを用いて、多変数関数のテンソル表現を生成する。
• 滑らかまたは解析的関数に対して特に、低ランク形式の収束性および近似特性をレビューする。

実験結果

リサーチクエスチョン

• RQ1 多変数関数に由来する高次元テンソルを、どのように効率的に圧縮し保存できるか？
• RQ2 高次元における関数の近似に最も効果的な低ランクテンソル形式（例：CP、TT、階層的 Tucker）は何か？
• RQ3 線形方程式系および固有値問題の数値的ソルバーは、どのように低ランクテンソル形式で動作するように適応できるか？
• RQ4 滑らかまたは解析的関数に対して、低ランクテンソル形式の近似特性および収束速度は何か？
• RQ5 科学計算分野において、低ランクテンソル技術が最も恩恵を受ける応用分野は何か？

主な発見

• TTおよび階層的 Tucker形式といった低ランクテンソル形式により、50次元程度の高次元テンソルを、ペタバイトではなく数テラバイト程度の記憶容量で保存・計算可能である。
• CP分解は分離可能な関数に対して有効であるが、実際には悪条件性や収束の遅さに起因する問題を抱えることがある。
• テンソル・トレイン（TT）および階層的 Tucker形式は、滑らかさが低いか、有効ランクが低い関数に対して、安定的かつ効率的な表現を提供する。
• 低ランクテンソル形式に基づく数値的ソルバーは、高次元PDEや固有値問題の解を、記憶容量および計算コストを大幅に削減して計算可能である。
• 滑らかな関数に対しては、ランクを増加させることで近似誤差が急速に減少し、特に階層的 Tucker形式で顕著である。
• 本調査では、TTおよび階層的 Tucker形式が、理論的および計算的基盤が強く、関数関連テンソルに対して最も有望な形式であると特定している。