[論文レビュー] Function-Train: A continuous analogue of the tensor-train decomposition

Alex Gorodetsky, Sertaç Karaman+1 more|arXiv (Cornell University)|Oct 30, 2015

Tensor decomposition and applications参考文献 26被引用数 12

ひとこと要約

本稿では、多変数関数を1変数関数コアの系列として表現する連続的アナログである関数トレイン（FT）を導入する。これにより、統合、微分、算術演算に関して多項式時間で実行可能な、適応的かつ高次元の関数近似が可能になる。主な貢献は、連続的行列因子分解とクロス近似のフレームワークであり、離散的テンソル化を伴わずに複雑な関数の効率的かつ低ランク表現を可能にする。

ABSTRACT

We describe a new nonparametric function approximation framework based on a extension of the tensor-train decomposition. The approximation, termed a function-train (FT), results in a tensor-train structure whose cores are univariate functions of each variable. An advantage of the FT over discrete approaches is that it produces an adaptive approximation of tensor fibers that is not tied to any tensorized discretization procedure. Furthermore, the representation of low-rank functions in FT format enables efficient computation: we can add, multiply, integrate, and differentiate functions in polynomial time with respect to dimension. Our approach is in the spirit of other computation packages such as Chebfun, and yields an algorithm which requires the computation of continuous matrix factorizations such as the LU and QR decompositions of vector-valued functions. Our contributions include creating a maxvol algorithm for finding the maximum volume submatrix of a matrix-valued function. We also introduce a maxvol cross-approximation algorithm to obtain skeleton decompositions of vector-valued functions, a cross-approximation algorithm for converting black-box functions into FT format, and a rounding algorithm that re-approximates an FT by an FT of lower ranks. We demonstrate the benefits of our approach by integrating high dimensional and discontinuous functions. We also show how the algorithm performs on a variety of approximation tasks.

研究の動機と目的

• 離散的テンソル化を伴わない非パrametric関数近似フレームワークの開発を目的とする。
• 連続的低ランク表現を通じて、多変数関数の計算を効率化することを目的とする。
• 1変数関数コアを用いて、テンソル・トレインの概念を連続関数へと拡張することを目的とする。
• 次元に対して多項式時間で統合、微分、算術演算などの操作を実行できることを目的とする。
• ベクトル値関数の行列因子分解を用いて、Chebfunに類似した連続関数代数の環境を提供することを目的とする。

提案手法

• 各コアが1変数の関数であるテンソル・トレイン構造として、多変数関数を表現する。
• ベクトル値関数に対する連続的行列因子分解（例：LUおよびQR分解）を用いて、関数トレイン形式を構築する。
• 近似精度を向上させるために、行列値関数から最大体積部分行列を選択するmaxvolアルゴリズムを開発する。
• ベクトル値関数のスケルトン分解を計算するため、maxvolクロス近似アルゴリズムを導入する。
• ブラックボックス関数を低ランク近似でFT形式に変換するためのクロス近似アルゴリズムを設計する。
• 近似品質を維持しながらFTのランクを低く再近似するためのラウンドイングアルゴリズムを実装する。

実験結果

リサーチクエスチョン

• RQ1 テンソル・トレイン分解を非離散的で連続的な多変数関数へとどのように拡張できるか。
• RQ2 関数トレイン構築を支援するための、行列因子分解（例：LU、QR）の連続的アナログは何か。
• RQ3 maxvolベースのサンプリングを、近似精度の向上に寄与する行列値関数に適応可能か。
• RQ4 関数トレイン形式において、統合や微分などの演算はどの程度効率的に実行可能か。
• RQ5 ブラックボックス関数を、低ランク構造を保ちながらどの程度正確に関数トレイン形式に変換できるか。

主な発見

• 関数トレイン形式により、固定グリッド構造に依存しない、非離散的かつ適応的なテンソル・ファイバー近似が可能になる。
• FT形式における関数の加算、乗算、統合、微分などの演算は、次元に対して多項式時間で計算可能である。
• 行列値関数向けに開発されたmaxvolアルゴリズムにより、関数トレインフレームワークにおけるスケルトン分解の精度が向上する。
• クロス近似アルゴリズムにより、ブラックボックス関数を制御されたランクと精度でFT形式に成功して変換できる。
• ラウンドイングアルゴリズムにより、FTのランクを効果的に低減しつつ近似品質を維持でき、効率的な保存と計算が可能になる。
• 本フレームワークは、高次元かつ不連続関数の統合において優れた性能を示し、その頑健性とスケーラビリティが検証された。