[論文レビュー] Learning computationally efficient dictionaries and their implementation as fast transforms

Luc Le Magoarou, Rémi Gribonval|arXiv (Cornell University)|Jun 20, 2014

Digital Filter Design and Implementation参考文献 18被引用数 7

ひとこと要約

本稿では、スパース行列の積に分解することにより、計算的に効率的な辞書を学習する手法を提案する。これにより、FFT や DWT などの高速変換に類似した高速な行列-ベクトル乗算が可能になる。本手法は、非凸最適化を用いた PALM アルゴリズムにより、スパarsity、近似精度、計算複雑度のバランスをとる。その結果、データ適合性と効率性の間で柔軟なトレードオフを実現でき、K-SVD や解析的変換と同等またはそれを上回る精度と速度を達成する因子化された辞書の学習が可能になった。

ABSTRACT

Dictionary learning is a branch of signal processing and machine learning that aims at finding a frame (called dictionary) in which some training data admits a sparse representation. The sparser the representation, the better the dictionary. The resulting dictionary is in general a dense matrix, and its manipulation can be computationally costly both at the learning stage and later in the usage of this dictionary, for tasks such as sparse coding. Dictionary learning is thus limited to relatively small-scale problems. In this paper, inspired by usual fast transforms, we consider a general dictionary structure that allows cheaper manipulation, and propose an algorithm to learn such dictionaries --and their fast implementation-- over training data. The approach is demonstrated experimentally with the factorization of the Hadamard matrix and with synthetic dictionary learning experiments.

研究の動機と目的

• 学習された辞書は密度が高く、保存および適用にコストがかかるため、その計算非効率性を解消すること。
• 高速だが非適応的な解析的辞書と、適応的だが遅い学習辞書の間のギャップを、因子化可能な構造を強制することで埋めること。
• データに適応可能でかつ計算的に効率的なスパースな因子化された辞書を学習する最適化フレームワークを開発すること。
• 構造的スパarsityを用いて、辞書演算（例：乗算やスパースコーディング）を高速に実装すること。
• 学習された辞書が、近似誤差と計算複雑度の間でどの程度の柔軟なトレードオフを達成できるかを示すこと。

提案手法

• 辞書は M+1 個のスパース行列の積としてモデル化される：D = ∏_{j=1}^{M+1} S_j。これにより、スパース行列乗算によって高速な計算が可能になる。
• 学習問題は非凸最適化として定式化される：各 S_j にスパース性を促進する正則化項を加えた再構成誤差 ∥X - DΓ∥_F^2 を最小化する。
• 非凸問題を解くために、収束保証がある Proximal Alternating Linearized Minimization (PALM) アルゴリズムが用いられる。
• ℓ₀-ノルムを用いて因子行列へのスパarsity制約を課し、スケールとスパarsityレベルを制御するための正規化も施す。
• アルゴリズムは反復的に各因子行列を更新するが、他の行列は固定したまま進められ、スパarsityおよび低ランク制約のための近位作用素（proximal operators）が用いられる。
• 合成データおよびハダマード行列を用いた検証により、因子化された辞書は高速変換に近い複雑度で学習可能であることが示された。

実験結果

リサーチクエスチョン

• RQ1 学習された辞書と同等のデータ適合性を持ち、かつ解析的辞書と同等の高速性を持つ辞書を学習できるか？
• RQ2 学習された辞書をどのよう構造化すれば、近似精度を損なわずに高速な行列-ベクトル乗算が可能になるか？
• RQ3 因子化されたスパース行列表現を用いることで、計算複雑度と再構成誤差の間でどの程度のトレードオフが達成できるか？
• RQ4 提案手法は、高速ハダマード変換と同等の効率性を達成するハダマード行列の因子化を学習できるか？
• RQ5 P（非ゼロ要素の総数）、p（各行あたりの非ゼロ要素数）、Q（因子の数）のパラメータが、複雑度-精度トレードオフをどのように制御するか？

主な発見

• 提案手法は相対的複雑度（RC）が 0.3～0.9 の範囲を示し、標準的な学習辞書（RC=1）と比較して顕著な高速化を達成しながら、高い近似精度を維持している。
• Q=3 かつ P=1.4×512 または 1.6×512 の場合、RMSE が K-SVD の 10%以内に収まり、RC は 0.7～0.9 の範囲にあり、より高い効率性を示している。
• p=2 かつ Q=5 や 6 の場合、RC ≈ 0.3 の辞書が得られ、DCT や HAAR などの解析的変換に近い効率性に達している。さらに、それらと比較して RMSE を最大で2倍まで低減している。
• ランダム辞書に対しては、提案手法は Sparse K-SVD の近似誤差の半分にまで低減したが、計算複雑度（RC ≈ 0.7）はほぼ同等を維持した。
• 標準CPU上では1試行あたり8～9秒で収束し、中規模問題において実用的であることが示された。
• ハダマード行列が5つのスパース要因に正しく因子化され、O(2n log n) の複雑度で高速乗算が可能となり、高速ハダマード変換と一致する。