[論文レビュー] Dictionary Learning for Massive Matrix Factorization

Arthur Mensch, Julien Mairal+2 more|arXiv (Cornell University)|May 3, 2016

Sparse and Compressive Sensing Techniques参考文献 26被引用数 38

ひとこと要約

本稿では、確率的最適化とランダム特徴量サブサンプリングを組み合わせることで、両方の次元（行と列）において大規模な行列にスケーリング可能な、新しいオンライン辞書学習アルゴリズムを提案する。この手法は、テラバイトスケールのデータセット上で最大8倍の高速化と顕著なメモリ削減を達成し、fMRIおよびレコメンデーションシステムのデータにおいて、収束時間と予測精度の両面で最先端の手法を上回る性能を発揮する。

ABSTRACT

Sparse matrix factorization is a popular tool to obtain interpretable data decompositions, which are also effective to perform data completion or denoising. Its applicability to large datasets has been addressed with online and randomized methods, that reduce the complexity in one of the matrix dimension, but not in both of them. In this paper, we tackle very large matrices in both dimensions. We propose a new factoriza-tion method that scales gracefully to terabyte-scale datasets, that could not be processed by previous algorithms in a reasonable amount of time. We demonstrate the efficiency of our approach on massive functional Magnetic Resonance Imaging (fMRI) data, and on matrix completion problems for recommender systems, where we obtain significant speed-ups compared to state-of-the art coordinate descent methods.

研究の動機と目的

• 既存のオンラインおよびバッチ辞書学習手法が、行列の両方の次元（行と列）にわたって効率的にスケーリングできないというスケーラビリティの制限を解消すること。
• 大規模なfMRIや共同フィルタリングのデータなど、テラバイトスケールのデータセットを効率的に処理できること。既存の手法では処理が遅すぎたり、非現実的である。
• 欠損値の処理と構造的スパース正則化を伴いながらも、学習された辞書の解釈可能性を維持すること。
• オンライン最適化とランダム化された次元削減を組み合わせることで、計算コストを低減しつつモデル品質を損なわない手法を開発すること。
• 特にデータサイズが増加するに従って、座標降下法よりも高速に収束するようにすること。

提案手法

• 各イテレーションで行列要素のランダムにマスクされたサブセットを処理するマスク付きオンライン辞書学習フレームワークを導入し、イテレーションごとの計算コストを削減する。
• 信号空間の次元を低減するために、ランダム射影を用いたランダム特徴量サブサンプリングを採用し、信号数（列数）が非常に多い場合でも効率的な計算を可能にする。
• 収束性と高速な適応性を保証するため、学習率スケジュール $ w_t = 1/t^\beta $（$ \beta \in [0.85, 0.95] $）を用いた確率的主要化最小化を適用する。
• 交互にバイアス補正を施すことで、共同フィルタリングタスクにおける予測精度を向上させる。
• 最適化の収束速度と安定性のバランスを取るために、$ n/100 $ のミニバッチサイズを採用する。
• 解釈可能性を保証する明示的で解釈可能な辞書 $ \mathbf{D} $ とスパース活性化行列 $ \mathbf{A} $ を維持し、神経科学やレコメンデーションシステムにおける後続の解釈可能性を可能にする。

実験結果

リサーチクエスチョン

• RQ1 行列の信号数（列）と特徴数（行）の両方において、効率的にスケーリング可能な辞書学習アルゴリズムを設計できるか？
• RQ2 ランダム特徴量サブサンプリングをオンライン辞書学習に統合することで、モデル性能を劣化させることなく計算複雑性を低減できるか？
• RQ3 特にデータサイズが増加するに従って、座標降下法よりも高速に収束するか？
• RQ4 ランダムマスキングとサブサンプリングの使用が、学習された辞書の解釈可能性と正確性をどの程度保持するか？
• RQ5 学習率スケジュール $ w_t = 1/t^\beta $ の選択に、アルゴリズムの性能がどの程度依存するか？また、収束が最適になる $ \beta $ の範囲は何か？

主な発見

• 2TBのfMRIデータセット（$ n = 2.4 \times 10^6 $ 個の信号、$ p = 2 \times 10^5 $ 個の特徴）において、本手法は約10時間で解釈可能な辞書を学習した。これは、Mairalら（2010）のオンライン手法と比べて約10倍速く、1桁の高速化を達成した。
• Netflixデータセット（1.4億エントリ）では、256秒で収束に到達した。座標降下法は1714秒を要したため、6.8倍の高速化を達成した。
• NetflixにおけるテストRMSEは0.934を達成し、座標降下法のベースライン（0.938）をわずかに上回った。4分未満で最終RMSEに0.1%の差で到達した。
• アルゴリズムの収束速度はデータサイズの増加に伴い向上し、座標降下法とは異なり、固定のサイクル数を必要としなかった。
• 最適な学習率スケジュールは $ \beta \in [0.85, 0.95] $ であり、Mairal（2013）の理論的収束保証と整合的で、実際の収束が最も速かった。
• 完全射影バージョンと比較して、部分的射影（ランダム特徴量サブサンプリング）を用いることでわずかな性能向上が得られた。これは、辞書更新に対する追加の正則化効果によるものと推測される。