[論文レビュー] From Bayesian Sparsity to Gated Recurrent Nets

Hao He, Bo Xin+1 more|arXiv (Cornell University)|Jun 9, 2017

Blind Source Separation Techniques被引用数 22

ひとこと要約

本稿では、スパースベイジアン学習（SBL）の反復処理——相関のある辞書を扱えることで知られるスパース推定において——を、LSTMにインspiredされたゲート付き再帰的ネットワークアーキテクチャにマッピングする、新しい深層学習フレームワークを提案する。SBLの多重ループ構造である主要化最小化（majorization-minimization）を、学習可能で柔軟なゲートフィードバックLSTMに展開することで、方向音響（DOA）推定や3次元幾何回復といったスパース推定タスクで最先端の性能を達成し、計算コストを著しく削減した。

ABSTRACT

The iterations of many first-order algorithms, when applied to minimizing common regularized regression functions, often resemble neural network layers with pre-specified weights. This observation has prompted the development of learning-based approaches that purport to replace these iterations with enhanced surrogates forged as DNN models from available training data. For example, important NP-hard sparse estimation problems have recently benefitted from this genre of upgrade, with simple feedforward or recurrent networks ousting proximal gradient-based iterations. Analogously, this paper demonstrates that more powerful Bayesian algorithms for promoting sparsity, which rely on complex multi-loop majorization-minimization techniques, mirror the structure of more sophisticated long short-term memory (LSTM) networks, or alternative gated feedback networks previously designed for sequence prediction. As part of this development, we examine the parallels between latent variable trajectories operating across multiple time-scales during optimization, and the activations within deep network structures designed to adaptively model such characteristic sequences. The resulting insights lead to a novel sparse estimation system that, when granted training data, can estimate optimal solutions efficiently in regimes where other algorithms fail, including practical direction-of-arrival (DOA) and 3D geometry recovery problems. The underlying principles we expose are also suggestive of a learning process for a richer class of multi-loop algorithms in other domains.

研究の動機と目的

• 複雑なベイジアンスパース性アルゴリズムと現代の深層学習アーキテクチャ（特にLSTM）との構造的類似性を橋渡しすること。
• 高相関辞書の状況下でも従来の反復的手法を上回る、学習可能でデータ駆動型のスパース推定システムを開発すること。
• 主な最小化アルゴリズムにおける内側ループ（事後分散）と外側ループ（係数推定）の効率的で適応的な調整を、新規のゲートフィードバックLSTM構造によって実現すること。
• 方向音響（DOA）推定や3次元幾何回復といった実用的スパース推定問題において、最先端の性能を示すこと。
• 単純な勾配ベースのテンプレートを超えて、複雑な多重ループ最適化アルゴリズムへの「学習による学習（learning-to-learn）」パラダイムを拡張すること。

提案手法

• スパースベイジアン学習（SBL）の多重ループ構造を再帰的ネットワークアーキテクチャに展開し、潜在変数の軌道をLSTMセルのダイナミクスにマッピングする。
• 内側ループ（事後分散）と外側ループ（係数推定）の計算を適応的に制御できる、新規のゲートフィードバックLSTMを設計し、ループ実行の柔軟なスケジューリングを可能にする。
• 主要化最小化フレームワークを用いて変分パラメータの閉形式更新式を導出し、それをネットワークのフォワードパスに埋め込む。
• 非凸なℓ0正則化スパース推定問題のための微分可能でエンドツーエンドトレーニング可能な代替関数を導入し、反復的ソルバーの代わりに学習可能な再帰的ネットワークを採用する。
• DOAやフォトメトリックステレオといった実世界の問題に一般化できるよう、ネットワークのためのトレーニングデータを合成するための新規オンラインデータ生成プロセスを採用する。
• SBLアルゴリズムのソフトスレッショルドイングおよび分散更新ルールを、LSTMセル内の学習可能な要素に変換し、要素単位の演算とゲーティング機構を用いる。

実験結果

リサーチクエスチョン

• RQ1 スパースベイジアン学習（SBL）の反復構造——相関のある辞書を扱えることで知られる——を、LSTMのような深層再帰的ネットワークアーキテクチャにマッピングできるか？
• RQ2 SBLの主要化最小化アルゴリズムにおける内側と外側のループを、微分可能で深層ネットワーク内で効果的にモデル化・調整できるか？
• RQ3 学習可能なゲートフィードバックLSTMアーキテクチャは、高相関辞書下で標準的なプロキシマル法やIHTベース手法を上回る性能を示せるか？
• RQ4 このようなネットワークのエンドツーエンドトレーニングが、方向音響（DOA）推定や3次元幾何回復といった実世界問題にどの程度一般化できるか？
• RQ5 深層学習を用いて、単純な勾配ベースのテンプレートを超えた複雑な多重ループ最適化アルゴリズムを学習することは可能か？

主な発見

• 提案されたゲートフィードバックLSTMアーキテクチャは、方向音響（DOA）推定やフォトメトリックステレオによる3次元幾何回復といったスパース推定タスクで、最先端の性能を達成した。
• 特に高相関辞書下において、反復的アルゴリズム（例：反復的ハードスレッショルドイング（IHT）や凸緩和法）を著しく上回る推定精度を達成した。
• 従来のSBLやIHT手法に比べ、計算予算を著しく削減したにもかかわらず、優れた性能を発揮し、高い効率性を示した。
• 主な最小化に基づくトレーニングプロセスにより、目的関数の確実な減少が保証され、収束安定性が確保された。
• 新規のオンラインデータ生成プロセスにより、多様なトレーニング例を合成したため、実世界の問題への一般化性能が優れていた。
• 本研究では、深層学習を用いて複雑で多重ループ構造を持つ主な最小化アルゴリズムを初めて成功裏に学習した。これにより、最適化にインspiredされたニューラルアーキテクチャの新たな道が開かれた。