[論文レビュー] Low-Rank Tucker Approximation of a Tensor From Streaming Data

Yiming Sun, Yang Guo+3 more|arXiv (Cornell University)|Apr 24, 2019

Tensor decomposition and applications参考文献 41被引用数 10

ひとこと要約

本稿では、全モードにわたる多次元構造を捉える新しい線形スケッチ「Tucker スケッチ」を用いた、1パスのストリーミングアルゴリズムを提案する。この手法は、保証された誤差境界を有し、状態を凌駕する性能を達成する。また、コアテンソルの自由度に比例するストレージのみを要し、ストリーミング、分散、またはメモリ外のデータから生じる巨大テンソルの効率的圧縮と解析を可能にする。

ABSTRACT

This paper describes a new algorithm for computing a low-Tucker-rank approximation of a tensor. The method applies a randomized linear map to the tensor to obtain a sketch that captures the important directions within each mode, as well as the interactions among the modes. The sketch can be extracted from streaming or distributed data or with a single pass over the tensor, and it uses storage proportional to the degrees of freedom in the output Tucker approximation. The algorithm does not require a second pass over the tensor, although it can exploit another view to compute a superior approximation. The paper provides a rigorous theoretical guarantee on the approximation error. Extensive numerical experiments show that that the algorithm produces useful results that improve on the state of the art for streaming Tucker decomposition.

研究の動機と目的

• メインメモリに収まらない、または逐次的に生成される巨大テンソルに対して低ランク Tucker 近似を計算する課題に対処すること。
• ストリーミング、分散、またはメモリ制限環境に適した、データを1回しか走査しない手法を開発すること。
• 行列化の尾部エネルギーに基づいた近似誤差に関する理論的保証を提供すること。
• 2回目のデータ走査なしで、最小限のストレージで効率的なテンソル圧縮とクラスタリングなどの後続タスクを可能にすること。
• 1パスおよび2パスの両方のバージョンをサポートするスケッチベースのフレームワークを設計し、精度を向上させること

提案手法

• 各テンソルモードに沿った主要部分空間とコアテンソルによる多次元相互作用を捉える、Tucker スケッチと呼ばれる線形スケッチを導入する。
• 各モードにランダム化された次元削減写像を適用することで、スケッチを構築し、ストリーミングおよび分散データと互換性を持つ線形性を確保する。
• 元のテンソルを2度走査しないで、切り捨てられたQR分解を用いてスケッチから直接低ランク Tucker 近似を計算する。
• 追加のデータアクセスを活用することで近似品質を向上させる2パスの変種を提案し、期待値において HOSVD/ST-HOSVD と同等の性能を達成する。
• さらにデータアクセスなしで出力 Tucker 近似を固定ランクに圧縮する手法を提案し、スペクトルの減衰に基づいてランクを適応的に選択する。
• クラスタリングなどの後続タスクのためのコンactな要約としてスケッチ自体を用い、効率的な動画シーン分類を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ストリーミングまたは分散データから生じるテンソルに対して、保証された誤差境界を有する1パスアルゴリズムが低ランク Tucker 近似を計算できるか？
• RQ2 Tucker スケッチは、ストレージ要件を最小限に抑えながら、すべてのテンソルモードにわたる多次元構造をどのように保持するか？
• RQ3 近似精度の観点から、1パス Tucker スケッチ手法は、既存のストリーミングテンソル分解手法をどの程度上回るか？
• RQ4 完全な Tucker 近似を再構築せずに、スケッチを直接クラスタリングなどの後続タスクに使用できるか？
• RQ5 2パスの変種は、1パスの手法に比べて、近似品質および HOOI の性能への収束においてどの程度向上するか？

主な発見

• 1パスの Tucker スケッチアルゴリズムは、テンソルの任意の行列化の尾部エネルギーに依存する近似誤差の境界を達成し、厳密な理論的保証を提供する。
• 2パスのアルゴリズムは1パスの手法を上回り、ストレージ予算が増加するにつれて HOOI の性能に収束する。特に小さなターゲットランクにおいて顕著である。
• 気象および燃焼シミュレーションデータにおいて、全データがメモリに収まらない状況でも、本手法は高い圧縮比と低い誤差を達成してテンソルを効果的に圧縮した。
• 動画シーン分類のタスクでは、1/500のストレージで、背景、人物存在、照明変化の3クラスにフレームを分類する性能を、先行研究と同等に達成した。
• 完全な Tucker 近似を再構築せずにスケッチそのものをクラスタリングに直接使用しても、空間的次元でテンソルが低ランクでない場合でも効果的な結果が得られた。
• 本手法は、ストリーミング、分散、メモリ制限環境において、出力 Tucker 近似の自由度に比例するストレージのみを要する、効率的かつスケーラブルなテンソル解析を可能にする。