[論文レビュー] Block-Randomized Stochastic Proximal Gradient for Low-Rank Tensor Factorization

Xiao Fu, Shahana Ibrahim+3 more|arXiv (Cornell University)|Jan 16, 2019

Tensor decomposition and applications参考文献 65被引用数 5

ひとこと要約

本稿では、密度行列の大型低ランクテンソル因子分解のための二重にランダム化された確率的近接勾配フレームワークを提案する。ランダム化ブロック座標降下法と確率的近接勾配更新を組み合わせることで、柔軟な正則化と証明可能な収束性を備えた、メモリ効率の高い最適化を実現する。医療画像やコンピュータビジョンから得られる大型密度テンソルにおいて、既存手法を上回る性能を発揮する。

ABSTRACT

This work considers the problem of computing the canonical polyadic decomposition (CPD) of large tensors. Prior works mostly leverage data sparsity to handle this problem, which is not suitable for handling dense tensors that often arise in applications such as medical imaging, computer vision, and remote sensing. Stochastic optimization is known for its low memory cost and per-iteration complexity when handling dense data. However, exisiting stochastic CPD algorithms are not flexible enough to incorporate a variety of constraints/regularizations that are of interest in signal and data analytics. Convergence properties of many such algorithms are also unclear. In this work, we propose a stochastic optimization framework for large-scale CPD with constraints/regularizations. The framework works under a doubly randomized fashion, and can be regarded as a judicious combination of randomized block coordinate descent (BCD) and stochastic proximal gradient (SPG). The algorithm enjoys lightweight updates and small memory footprint. In addition, this framework entails considerable flexibility---many frequently used regularizers and constraints can be readily handled under the proposed scheme. The approach is also supported by convergence analysis. Numerical results on large-scale dense tensors are employed to showcase the effectiveness of the proposed approach.

研究の動機と目的

• 医療画像、コンピュータビジョン、リモートセンシングで一般的に見られる大型密度テンソルに対するコアノニカル・ポリアド・デセント（CPD）を計算する課題に対処すること。
• 正則化や制約の取り扱いに柔軟性に欠け、収束性が明確でない既存の確率的CPDアルゴリズムの限界を克服すること。
• さまざまな正則化子や制約をサポートしつつ、低反復コストを維持するスケーラブルでメモリ効率の良い最適化フレームワークを開発すること。
• 二重にランダム化された更新スキームの下で、提案された確率的最適化フレームワークの収束性を分析すること。

提案手法

• 本手法は二重にランダム化されたスキームを採用する：データサンプリングのためのテンソルファイバーのランダム選択と、ブロック座標更新のための要因ブロックのランダム選択。
• ランダム化ブロック座標降下（BCD）と確率的近接勾配（SPG）を統合し、各反復で全要因の更新を実現しながら、低メモリ使用を維持する。
• サンプルされたテンソルファイバーを用いた勾配の確率的近似を用い、収束を向上させるために適応的ステップサイズ（例：Adagrad）を採用する。
• 近接作用素を組み込むことで、スパarsityや非負性などのさまざまな正則化項を更新式に直接統合する。
• 部分的なテンソルデータ上で処理し、各反復で1つの要因ブロックのみを更新することで、軽量な更新を実現する。
• 有界性の仮定の下で、リャプノフ関数の解析により、勾配ノルムが確実に0に収束することを示した。

実験結果

リサーチクエスチョン

• RQ1 大規模密度テンソルCPDのための、柔軟な正則化と制約をサポートする確率的最適化フレームワークを設計できるか？
• RQ2 各反復で全要因の更新を保証しつつ、反復ごとの計算複雑性を最小限に抑える方法は何か？
• RQ3 テンソルCPDのための二重にランダム化された確率的近接勾配法の収束挙動はいかなるものか？
• RQ4 フレームワークは、密度テンソルを処理しながら低メモリ使用と計算コストを維持できるか？

主な発見

• 提案されたフレームワークは、バッチ手法と比較して顕著なメモリおよび計算コストの削減を達成し、メインメモリに収まらないほど大きなテンソルの処理を可能にする。
• アルゴリズムは確実に停留点に収束し、リャプノフ関数解析によって理論的保証が得られている。
• 医療画像およびコンピュータビジョンから得た大規模密度テンソルにおける実験結果から、既存の確率的CPD手法よりも高速な収束と優れた性能を示した。
• 非負性やスパarsityなどのさまざまな正則化子を、収束性や効率性を損なわず効果的に統合できた。
• 分散処理の実装をサポートし、テンソルのサイズやランクの増大に伴い良好にスケーリングする。