[論文レビュー] Learning Robust Low-Rank Representations

Pablo Sprechmann, Alexander M. Bronstein+1 more|arXiv (Cornell University)|Sep 27, 2012

Sparse and Compressive Sensing Techniques参考文献 26被引用数 5

ひとこと要約

この論文では、正確なソルバーに比べて1000倍以上高速な推論を実現しながら、ほぼ同一の性能を維持する、学習可能でフォワードプロパゲーション型のニューラルネットワークアーキテクチャを提案する。最適化アルゴリズムにインspiredされた深層レグレッサーを訓練することで、画像、音声、動画処理の応用において、リアルタイムでオンラインで低ランクおよびスパース行列分解を実現する。

ABSTRACT

In this paper we present a comprehensive framework for learning robust low-rank representations by combining and extending recent ideas for learning fast sparse coding regressors with structured non-convex optimization techniques. This approach connects robust principal component analysis (RPCA) with dictionary learning techniques and allows its approximation via trainable encoders. We propose an efficient feed-forward architecture derived from an optimization algorithm designed to exactly solve robust low dimensional projections. This architecture, in combination with different training objective functions, allows the regressors to be used as online approximants of the exact offline RPCA problem or as RPCA-based neural networks. Simple modifications of these encoders can handle challenging extensions, such as the inclusion of geometric data transformations. We present several examples with real data from image, audio, and video processing. When used to approximate RPCA, our basic implementation shows several orders of magnitude speedup compared to the exact solvers with almost no performance degradation. We show the strength of the inclusion of learning to the RPCA approach on a music source separation application, where the encoders outperform the exact RPCA algorithms, which are already reported to produce state-of-the-art results on a benchmark database. Our preliminary implementation on an iPad shows faster-than-real-time performance with minimal latency.

研究の動機と目的

• リアルタイム応用における正確なRPCAソルバーの高い計算コストと遅延を解消する。
• 動的主成分を伴うストリーミングデータに対して、オンラインで適応可能な低ランク表現学習を可能にする。
• ロバストPCA最適化問題の解を近似する、トレーニング可能なフォワードプロパゲーション型アーキテクチャを開発する。
• データ表現における幾何変換およびアライメントタスクを処理できるフレームワークに拡張する。
• 最小限の遅延と高い効率性を実現し、モバイルデバイスへの実装を実証する。

提案手法

• 正確な低ランク分解問題を解くための一次最適化アルゴリズムに基づいたマルチレイヤーニューラルネットワークアーキテクチャを設計する。
• 教師ありまたは教師なしの目的関数を用いて、入力データの低ランクおよびスパース成分を予測するレグレッサーとしてネットワークを訓練する。
• 元のRPCA定式化において、核ノルムとℓ1ノルムを正則化子として使用する：min ‖L‖* + λ‖O‖₁ ただし ‖X − L − O‖²_F ≤ ε。
• 問題サイズを縮小し、収束速度を向上させるために、構造的非凸最適化技術を活用する。
• 音声源分離や動画の前景・背景分解などの特定タスクに最適化可能なトレーニング可能なエンコーダーを統合する。
• 幾何的データ変換を学習されたアライメントによって処理するなど、最小限のアーキテクチャ変更で実世界のデータに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 正確なRPCA問題の解を、著しく短い推論時間で近似できる深層ニューラルネットワークをトレーニングできるか？
• RQ2 実世界のデータにおいて、学習済みエンコーダーの性能は、正確なRPCAソルバーと比較して、精度と速度の点でどのように異なるか？
• RQ3 変化する低ランク部分空間を伴うストリーミングデータに対しても、フレームワークをオンラインで処理できるか？
• RQ4 教師あり学習と教師なし学習の違いが、低ランク表現の品質に与える影響は何か？
• RQ5 アーキテクチャを幾何変換およびアライメントタスクのデータ表現に適応できるか？

主な発見

• 提案されたニューラルネットワークエンコーダーは、正確なRPCAソルバーに比べて1000倍の高速化を達成し、GPU上で1フレームあたり92μsの推論遅延を実現した。
• MIR-1K音声分離ベンチマークにおいて、教師ありニューラルRPCAエンコーダーはGNSDRが6.38を達成し、正確なRPCAソルバー（5.48）および教師なしバージョンを上回った。
• ネットワークベースのアプローチは、動画の背景・前景分離において正確なRPCAアルゴリズムとほぼ同一の結果を生成したが、はるかに高速であった。
• 初期のiPad実装では、リアルタイムを上回る性能を示し、最小限の遅延でモバイルデバイス上でリアルタイムの音声および動画処理を可能にした。
• エンコーダーの教師あり学習は、教師なしの状態に比べてGSIRで15%、GSARで12%の向上を示し、タスク固有の学習の利点を裏付けた。
• 類似したアーキテクチャ的原則を用いて、ロバスト非負行列分解への一般化が可能であり、広範な適用可能性を示した。