[論文レビュー] Fast multidimensional convolution in low-rank formats via cross approximation

Maxim Rakhuba, Ivan Oseledets|arXiv (Cornell University)|Feb 23, 2014

Tensor decomposition and applications参考文献 47被引用数 6

ひとこと要約

本稿では、周波数領域におけるクロス近似を用いて、低ランクテンソル形式（TT、Tucker、HT）における高速な多次元畳み込みを実現するクロスコンボリューション（cross-conv）アルゴリズムを提案する。畳み込みは周波数領域では要素ごとの積に変換される。本手法は、従来の手法と比較してテンソルランクに依存する複雑さが低く、3次元ニュートンポテンシャルの計算や初期のハートリー＝フォック解法において優れた効率性を示す。

ABSTRACT

We propose a new cross-conv algorithm for approximate computation of convolution in different low-rank tensor formats (tensor train, Tucker, Hierarchical Tucker). It has better complexity with respect to the tensor rank than previous approaches. The new algorithm has a high potential impact in different applications. The key idea is based on applying cross approximation in the "frequency domain", where convolution becomes a simple elementwise product. We illustrate efficiency of our algorithm by computing the three-dimensional Newton potential and by presenting preliminary results for solution of the Hartree-Fock equation on tensor-product grids.

研究の動機と目的

• 低ランクテンソル形式を用いた高次元問題における多次元畳み込みの高い計算コストを軽減すること。
• 特に $ d > 2 $ の場合に、FFT や CP 分解法に起因する制限を、TT や Tucker などの安定なテンソル形式を活用することで克服すること。
• テンソルランクおよびグリッドサイズに強く依存しない、数値的に安定で効率的な畳み込みアルゴリズムの開発。
• 量子力学やポテンシャル場モデリングなどの応用分野において、大規模な多次元畳み込みを実用的に計算可能にする。

提案手法

• 離散畳み込みを、畳み込みが要素ごとの積に変換される周波数領域に変換するため、FFT を用いる。
• 周波数領域における積テンソルに対してクロス近似を適用し、最小限の精度損失で低ランク形式（TT、Tucker、HT）に圧縮する。
• スチェュール補完（Schur complement）に基づく新しいクロス近似アルゴリズム（Schur-Cross3D）を用い、事前に選択された優れた行を再利用しながら、反復的にテンソル近似を向上させる。
• 安定で高精度な低ランク近似を保証するため、最大ボリューム（maxvol）基準を用いて補間インデックスを選択する。
• フーリエ変換と要素ごとの演算が低ランク形式を保存することを保証することで、すべての段階でテンソル構造を維持する。
• テンソルの展開とスチェュール補完技術を統合し、再計算を避けながら基底行列を効率的に更新する。

実験結果

リサーチクエスチョン

• RQ1 低ランクテンソル形式において、テンソルランクへの依存を低減することで、多次元畳み込みを効率的に計算できるか。
• RQ2 周波数領域におけるクロス近似は、従来の手法と比較して、テンソルベースの畳み込みの複雑さと安定性をどのように向上させるか。
• RQ3 スチェュール補完に基づくファイバー選択が、クロス近似における収束性と計算コストに与える影響は何か。
• RQ4 実用的なグリッドサイズとランクにおいて、本手法は [29] の QTT に基づく手法と比較して、性能と精度で優れているか。
• RQ5 本アルゴリズムは、テンソル積グリッド上での高次元 PDE（例：ハートリー＝フォック方程式）の解法を、どの程度高速化できるか。

主な発見

• クロスコンボリューション（cross-conv）アルゴリズムは、複雑さ $ \mathcal{O}(nr^2 + r^4) $ を達成しており、従来の手法と比較してテンソルランク $ r $ に依存する点でより有利である。
• 実際のグリッドサイズと近似精度において、本手法は、漸近的複雑度が優れているにもかかわらず、[29] の QTT に基づく手法を実用的に上回る性能を示す。
• 数値実験により、高い精度と低い計算コストで3次元ニュートンポテンシャルを効率的に計算できることを示している。
• Schur-Cross3D アルゴリズムにより、スチェュール補完を用いて事前に選択された優れた行を再利用することで、安定的かつ効率的な低ランク近似が可能となり、重複計算が削減される。
• ハートリー＝フォック方程式に対する初期結果は、本手法がテンソル積グリッド上での量子力学的シミュレーションに実用的に応用可能であることを示している。
• https://github.com/rakhuba/tucker3d に公開されたオープンソース実装により、研究者が本手法を再現・拡張するための実用的ツールが提供されている。