[論文レビュー] Learning efficient sparse and low rank models

Pablo Sprechmann, Alex Bronstein+1 more|arXiv (Cornell University)|Dec 14, 2012

Sparse and Compressive Sensing Techniques参考文献 53被引用数 15

ひとこと要約

本稿では、スパースおよび低ランク表現の反復的最適化を近似する固定複雑度で決定論的な追求ネットワークを学習することで、能率的なモデリングのプロセス中心的アプローチを提案する。近似勾配降下の反復を青写真として用い、正確なソルバーよりも1000倍以上の高速化を達成しながら、画像および音声タスクで最先端の性能を発揮し、分類および分離タスクのエンドツーエンド判別学習を可能にする。

ABSTRACT

Parsimony, including sparsity and low rank, has been shown to successfully model data in numerous machine learning and signal processing tasks. Traditionally, such modeling approaches rely on an iterative algorithm that minimizes an objective function with parsimony-promoting terms. The inherently sequential structure and data-dependent complexity and latency of iterative optimization constitute a major limitation in many applications requiring real-time performance or involving large-scale data. Another limitation encountered by these modeling techniques is the difficulty of their inclusion in discriminative learning scenarios. In this work, we propose to move the emphasis from the model to the pursuit algorithm, and develop a process-centric view of parsimonious modeling, in which a learned deterministic fixed-complexity pursuit process is used in lieu of iterative optimization. We show a principled way to construct learnable pursuit process architectures for structured sparse and robust low rank models, derived from the iteration of proximal descent algorithms. These architectures learn to approximate the exact parsimonious representation at a fraction of the complexity of the standard optimization methods. We also show that appropriate training regimes allow to naturally extend parsimonious models to discriminative settings. State-of-the-art results are demonstrated on several challenging problems in image and audio processing with several orders of magnitude speedup compared to the exact optimization algorithms.

研究の動機と目的

• スパースおよび低ランクモデリングにおける反復的最適化の計算ボトル neck を克服すること、特にリアルタイムおよび大規模応用において。
• 追求プロセスを微分可能かつトレーナブルにすることで、能率的モデルを用いた判別学習を可能にすること。
• 反復的ソルバーを置き換える固定アーキテクチャの学習済みネットワークを導入し、最小限の遅延と複雑さで正確な最適化を近似すること。
• 学習された追求プロセスが、再構成タスクおよび下流分類タスクの両方で正確なソルバーを上回ることを示すこと。

提案手法

• 凸最適化におけるスパースおよび低ランク問題に用いられる近似勾配降下アルゴリズムをアンロールすることで、トレーナブルな追求ネットワークアーキテクチャを構築する。
• ネットワークの各層は最適化サブプロブレムから導出されたプロキシマル演算子を実装し、表現追求のための決定論的で固定深さの関数を形成する。
• 再構成誤差またはタスク固有の目的関数を最小化するために、教師ありまたは自己教師ありの枠組みでエンドツーエンドにネットワークを訓練する。
• 合成モデルおよび解析モデルの両方をサポートし、コスパースおよびロバスト低ランク定式化への拡張を含む。
• パラメータは標準的な最適化手法から初期化され、解釈可能でスケーラブルなアーキテクチャが設計されている。
• バックプロパゲーションを学習された追求プロセスに適用することで、従来のソルバーの微分不能性の問題を克服し、判別モデルの訓練を可能にする。

実験結果

リサーチクエスチョン

• RQ1 学習された固定複雑度の追求プロセスは、計算コストを著しく削減しつつ、反復的スパースおよび低ランク最適化の解を近似できるか？
• RQ2 このような学習された追求ネットワークは、分類および音源分離などの下流タスクの性能向上を目的とした判別学習で効果的に訓練可能か？
• RQ3 プロセス中心のフレームワークは、正確なソルバーと比較して再構成精度を維持または向上させながら、より高速な推論を可能にするか？
• RQ4 教師あり、教師なし、判別学習の各訓練ルールは、音声および画像タスクにおける学習済みエンコーダーの性能にどのように影響するか？

主な発見

• 学習された追求ネットワークは、正確な最適化アルゴリズムと比較して、画像および音声タスクで最大1000倍の高速化を達成しながら、再構成品質を維持または向上させた。
• 音声源分離において、教師あり訓練ルールにより、ボーカルのSDRが5.00 dBから6.36 dBに、音楽のSDRが4.01 dBから4.32 dBに向上し、正確なRNMFを上回った。
• ノイズ環境下での発話者識別において、判別学習ルールは平均94％の成功率を達成し、正確なソルバーや教師ありベースラインを上回った。
• 追求プロセスを微分可能にすることで、判別モデルのエンドツーエンド訓練を可能にした。これは、従来のモデル中心的アプローチの主要な制限を克服した。
• 本手法は合成モデルおよび解析モデルの両方へ一般化可能であり、ロバスト低ランクおよびコスパース定式化を含むが、一貫した性能向上が得られた。