[論文レビュー] Efficient construction of tensor ring representations from sampling

Yuehaw Khoo, Jianfeng Lu+1 more|arXiv (Cornell University)|Nov 2, 2017

Tensor decomposition and applications参考文献 20被引用数 6

ひとこと要約

本稿では、限られたデータから高次元関数のテンソルリング（TR）表現を構築するための効率的なサンプリングベースの手法を提案する。この手法は、新しい初期化スキームを用いた交互最小二乗法（ALS）を用いる。このアプローチは、テンソル・トレイン形式よりも高い圧縮効率と構造の保存性を達成しており、O(d)のサンプルで十分であり、同等の精度を達成するためのパラメータ数が少なく、収束が速い。

ABSTRACT

In this paper we propose an efficient method to compress a high dimensional function into a tensor ring format, based on alternating least-squares (ALS). Since the function has size exponential in $d$ where $d$ is the number of dimensions, we propose efficient sampling scheme to obtain $O(d)$ important samples in order to learn the tensor ring. Furthermore, we devise an initialization method for ALS that allows fast convergence in practice. Numerical examples show that to approximate a function with similar accuracy, the tensor ring format provided by the proposed method has less parameters than tensor-train format and also better respects the structure of the original function.

研究の動機と目的

• 関数の完全なテンソルアクセスが不可能な場合（指数的サイズのため）、高次元関数を低ランクテンソルリング（TR）形式に圧縮する課題に対処すること。
• ブラックボックス関数評価から効率的なTR構築を可能にするため、O(d)の重要なサンプルを選択するサンプリング戦略を開発すること。
• 実用的な高速収束を保証するため、交互最小二乗法（ALS）のための初期化手法を設計すること。
• 同じ近似精度において、TR形式がテンソル・トレイン（TT）形式よりも優れた構造保存性と低いパラメータ数を提供することを実証すること。

提案手法

• 本手法は、関数値のサンプルからTRコアテンソルを学習するための交互最小二乗法（ALS）アルゴリズムを用い、完全なテンソルの保存を回避する。
• 関数の階層的構造と低ランク性を活用して、O(d)の重要なサンプルを特定する新しいサンプリングスキームを導入する。
• スケルトン分解とCUR行列に基づく初期化戦略を提案し、ALSの収束を加速する。
• テンソルネットワーク図と行列のリシェイピングを活用して、Frobeniusノルムの最小化によりTRコアの更新を効率的に計算する。
• 疑似逆行列と条件数解析を用いて理論的境界を導出し、サンプリング制約下での近似精度を保証する。
• 関数をブラックボックスとして扱い、グリッド点の部分集合のみをサンプリングしてTR形式を再構築する。

実験結果

リサーチクエスチョン

• RQ1 O(d)のサンプルのみを用いて、高次元関数をテンソルリング形式に正確に圧縮できるか？
• RQ2 TR形式学習におけるALSの高速収束を保証するための初期化スキームはどのように設計できるか？
• RQ3 同じ近似誤差において、テンソルリング形式はテンソル・トレイン形式よりも優れたパrameter効率性と構造保存性を提供するか？
• RQ4 部分的なサンプルしか利用できない状況において、TR近似誤差にどのような理論的保証を設定できるか？

主な発見

• 提案手法は、パラメータ数を著しく減らしながらも、テンソル・トレイン（TT）形式と同等またはそれ以上の近似精度を達成する。
• 提案手法によるTR形式は、元の関数の元の構造をTT形式よりもよく尊重している。
• サンプリングスキームはO(d)のサンプルで十分であり、高次元問題へのスケーラビリティを実現する。
• 初期化手法によりALSの収束が著しく高速化され、収束に必要な反復回数が削減される。
• 理論的解析により、摂動δα、δκが小さい場合、近似誤差がO(δα + 4δκ)で有界であることが示され、ロバスト性が裏付けられる。
• 実験的性能は強く、誤差境界はサンプリング品質とランク制約に応じて有利にスケーリングする。