[論文レビュー] Efficient Dictionary Learning via Very Sparse Random Projections

Farhad Pourkamali‐Anaraki, Stephen Becker+1 more|arXiv (Cornell University)|Apr 5, 2015

Sparse and Compressive Sensing Techniques参考文献 22被引用数 4

ひとこと要約

本稿では、非常にスパースなランダム射影を用いて、圧縮測定値から圧縮ディクショナリ学習を可能にする、メモリおよび計算効率に優れたディクショナリ学習アルゴリズムを提案する。一般のランダム射影（スパースを含む）をディクショナリ学習に用いることの理論的妥当性を裏付け、データアクセスおよびストレージを顕著に削減しながら高い精度を達成しており、特に圧縮率が1/5および1/10の状況で顕著である。

ABSTRACT

Performing signal processing tasks on compressive measurements of data has received great attention in recent years. In this paper, we extend previous work on compressive dictionary learning by showing that more general random projections may be used, including sparse ones. More precisely, we examine compressive K-means clustering as a special case of compressive dictionary learning and give theoretical guarantees for its performance for a very general class of random projections. We then propose a memory and computation efficient dictionary learning algorithm, specifically designed for analyzing large volumes of high-dimensional data, which learns the dictionary from very sparse random projections. Experimental results demonstrate that our approach allows for reduction of computational complexity and memory/data access, with controllable loss in accuracy.

研究の動機と目的

• 大規模かつ高次元のデータ処理の課題に応えるために、完全なデータアクセスを必要とせずに圧縮測定値からディクショナリ学習を可能にする。
• 従来の圧縮K-SVDの研究を拡張し、計算およびメモリ効率を向上させるために、非常にスパースなランダム射影行列を用いる。
• 独立同一分布に従うゼロ平均のエントリと有限な4次モーメントを持つ一般のランダム射影行列を用いたディクショナリ回復の理論的性能保証を提供する。
• データブロック間で同じランダム行列を共有することで、さらに計算オーバーヘッドを低減するスケーラブルなアルゴリズムを設計する。

提案手法

• 圧縮ディクショナリ学習を、K-meansクラスタリングとディクショナリ学習の関係を活用した、圧縮K-meansクラスタリングの変種として定式化する。
• ストレージおよび計算負荷を削減するために、非ゼロエントリがベルヌーイ分布に従う非常にスパースなランダム射影行列を用い、圧縮測定値を生成する。
• データをブロック単位で処理し、ブロック間で同じランダム射影行列を共有することで、重複する計算およびメモリ使用量を最小限に抑える。
• 各ディクショナリアトムについて、圧縮測定値を用いた最小二乗問題を解き、係数は射影されたデータとの内積により計算する。
• ブロックレベルの測定値から導かれるグラム行列および残差ベクトルを用いて、グローバルなディクショナリ更新を線形システムにより維持する。
• 完全なデータ再構成を避けて、圧縮データのみを用いて、繰り返しディクショナリアトムおよび係数を更新可能である。

実験結果

リサーチクエスチョン

• RQ1 非常にスパースなランダム射影を用いても、ディクショナリ学習に有効に機能し、精度を維持できるか？
• RQ2 有限な4次モーメントを持つ一般のランダム射影行列を用いたディクショナリ回復について、どのような理論的性能保証を確立できるか？
• RQ3 データブロック間でランダム射影を共有することにより、計算効率および精度にどのような影響を与えるか？
• RQ4 圧縮比、メモリの節約、再構成精度の間にはどのようなトレードオフが生じるか？
• RQ5 大規模データセットにおいて、標準的なK-SVDに比べて、提案手法がメモリおよび計算効率の面で優れているか？

主な発見

• 提案手法であるCK-SVDは、圧縮率が1/5および1/10の状況で、ディクショナリアトムの100％の回復に成功し、AK-SVDと同等またはそれ以上の精度を達成しながら、著しくメモリおよび計算効率に優れている。
• 圧縮率γ = 1/30の状況でも高い精度を達成しており、高圧縮率下でもロバストであることが示された。
• アルゴリズムにより、メモリおよびデータアクセス要件が顕著に削減され、大規模かつ分散型データ環境において実用的である。
• 理論的分析により、独立同一分布に従うゼロ平均エントリと有限な4次モーメントを持つ一般のランダム射影のもとでも、ディクショナリ回復が可能であることが確認された。
• スパarsityレベルT=3が低い場合、完全データK-SVDと本手法の性能はほとんど区別がつかないため、優れた近似品質を示している。
• 特にデータ次元が増加するに従い、データアクセスおよびストレージの必要を減らすことで、計算効率の面でAK-SVDを上回っている。