[論文レビュー] Convolutional Dictionary Learning through Tensor Factorization

Furong Huang, Animashree Anandkumar|arXiv (Cornell University)|Jun 10, 2015

Tensor decomposition and applications参考文献 12被引用数 16

ひとこと要約

本稿では、巡回行列制約下での高次モーメントテンソルのCP分解を活用することで、畳み込み辞書学習のための新規なテンソル分解フレームワークを提案する。テンソル手法を用いた効率的なFFTベースの射影により学習問題を再定式化することで、反復最小化法よりも高速かつ高精度に収束し、一見並列性の高い計算により大規模データセットへのスケーラビリティが実現される。

ABSTRACT

Tensor methods have emerged as a powerful paradigm for consistent learning of many latent variable models such as topic models, independent component analysis and dictionary learning. Model parameters are estimated via CP decomposition of the observed higher order input moments. However, in many domains, additional invariances such as shift invariances exist, enforced via models such as convolutional dictionary learning. In this paper, we develop novel tensor decomposition algorithms for parameter estimation of convolutional models. Our algorithm is based on the popular alternating least squares method, but with efficient projections onto the space of stacked circulant matrices. Our method is embarrassingly parallel and consists of simple operations such as fast Fourier transforms and matrix multiplications. Our algorithm converges to the dictionary much faster and more accurately compared to the alternating minimization over filters and activation maps.

研究の動機と目的

• シフト不変性と複数の同等解を有するため、畳み込み辞書学習が不適切に定式化されやすいという問題に対処すること。
• 反復最小化法が遅く局所最適解に陥りやすいという点を改善し、スケーラブルで効率的な代替手法を開発すること。
• 畳み込みフィルタにおけるシフト不変性を、巡回構造付きテンソル分解により直接学習プロセスに組み込むこと。
• モーメント計算のための1回のデータ走査で処理を完了させることで、繰り返しのデータ走査に起因する計算コストを低減すること。
• テンソル代数と巡回行列の性質を活用することで、高い並列性と低メモリ使用量を実現すること。

提案手法

• 本手法は、畳み込みICAモデルから導出される3次または4次入力モーメントテンソルのCP分解により、モデルパラメータを推定する。
• 畳み込みフィルタのシフト不変性を反映させるために、分解の各成分に巡回行列構造を強制する。
• 高速フーリエ変換（FFT）を用いた閉形式解を有する、制約付き逐次最小二乗法（ALS）アプローチを採用する。
• 各ALSステップはFFTと行列乗算を用いて効率的に解かれ、$O(\log n + \log L)$の時間計算量と$O(L^2n^3)$の並列度を達成する。
• 大規模な巡回行列の明示的構築を回避することで、暗黙的計算によりメモリ使用量を最小限に抑える。
• 高次モーメントはデータを1回走査するか、スケッチ法を用いて計算され、繰り返しのデータアクセスを回避する。

実験結果

リサーチクエスチョン

• RQ1 テンソル分解手法は、畳み込み辞書学習におけるシフト不変性を強制するために適応可能か？
• RQ2 巡回行列制約は、スケーラブルな学習を実現するためのテンソルCP分解に効率的に統合可能か？
• RQ3 提案手法は収束速度、精度、スケーラビリティにおいて反復最小化法を上回るか？
• RQ4 本手法は高精度を維持しながら1回のデータ走査処理を実現可能か？
• RQ5 本フレームワークは大規模データセットを効果的に処理できるように並列化可能か？

主な発見

• 提案された畳み込みテンソル（CT）手法は、反復最小化法（AM）と比較して著しく高速に収束し、実行時間において数個のオーダーの高速化を達成する。
• CT手法はフィルタ回復においてより高い精度を達成し、AMで見られるフィルタ誤差の増加とは異なり、再構成誤差が安定して減少する。
• CT手法はサンプル数に対して一定にスケーリングするのに対し、反復最小化法は線形にスケーリングするため、大規模データセットに対して極めて効率的である。
• アルゴリズムは一見並列性の高い計算を示し、マルチスレービングを用いて$O(\log n + \log L)$の時間と$O(L^2n^3)$のプロセッサを達成する。
• 巡回行列の明示的構築を回避し、FFTとテンソル代数を活用することで、メモリと計算コストを最小限に抑える。
• 実験では、デフラーション（フィルタごとの回復）がロバストネスを向上させ、ランダム初期化に起因する誤差のピークを低減することが示された。