[論文レビュー] The Sparse Recovery Autoencoder.

Shanshan Wu, Alexandros G. Dimakis+6 more|arXiv (Cornell University)|Jun 26, 2018

Sparse and Compressive Sensing Techniques参考文献 6被引用数 4

ひとこと要約

本論文では、スパarsityを超えたデータ構造に適応する線形符号化器を学習するデータ駆動型スパース回復オートエノードが提案される。ℓ₁復元器を用いたエンドツーエンド学習を可能にするために、アンフォールドドプロジェクション勾配法が用いられ、実際のデータセットに隠れた構造を活用することで、最先端の手法よりも少ない測定回数で優れた再構成品質を達成する。

ABSTRACT

Linear encoding of sparse vectors is widely popular, but is most commonly data-independent -- missing any possible extra (but a-priori unknown) structure beyond sparsity. In this paper we present a new method to learn linear encoders that adapt to data, while still performing well with the widely used $\ell_1$ decoder. The convex $\ell_1$ decoder prevents gradient propagation as needed in standard autoencoder training. Our method is based on the insight that unfolding the convex decoder into $T$ projected gradient steps can address this issue. Our method can be seen as a data-driven way to learn a compressed sensing matrix. Our experiments show that there is indeed additional structure beyond sparsity in several real datasets. Our autoencoder is able to discover it and exploit it to create excellent reconstructions with fewer measurements compared to the previous state of the art methods.

研究の動機と目的

• スパースベクトル回復におけるデータに依存しない線形符号化器の限界を解決すること。
• 通常微分不能とされるℓ₁復元器を備えたオートエノードの勾配ベースの学習を可能にすること。
• 現実世界のデータセットにおけるスパarsityを超えた隠れた構造を同定し、それを活用すること。
• 圧縮センシングにおける再構成精度と測定効率を向上させること。
• エンドツーエンド学習を通じて学習可能な圧縮センシング行列を開発すること。

提案手法

• ℓ₁復元器をTステップのプロジェクション勾配降下にアンフォールドして、勾配誤差逆伝播を可能にする。
• 各プロジェクション勾配ステップを学習可能な層として扱うことで、オートエノードを微分可能アーキテクチャとして定式化する。
• 再構成誤差を最小化するために、バックプロパゲーションを用いてエンドツーエンドで符号化器を学習する。
• 復元器は、ℓ₁最小化を近似するためのソフトスレッショルド処理とプロジェクション操作のシーケンスを用いる。
• 学習された符号化器はデータ固有の構造に適応し、少ない測定回数で再構成を向上させる。
• 符号化器と復元器の共同最適化を通じて、データ駆動型圧縮センシング行列を効果的に学習する。

実験結果

リサーチクエスチョン

• RQ1 学習可能な線形符号化器は、標準的なデータに依存しない手法を上回るスパース回復を実現できるか？
• RQ2 勾配ベース最適化を用いてℓ₁復元器を備えたオートエノードを学習することは可能か？
• RQ3 現実世界のデータには、スパarsityを超えた活用可能な構造が存在するか？
• RQ4 ℓ₁復元器を勾配ステップにアンフォールドすることで、効果的なエンドツーエンド学習が可能になるか？
• RQ5 測定効率と再構成品質の観点で、提案手法は最先端の手法と比較してどのように異なるか？

主な発見

• 提案されたオートエノードは、最先端の手法よりも少ない測定回数で、より優れた再構成品質を達成する。
• 本手法は、スパarsityを超えた隠れた構造を活用するデータ適応型線形符号化器を効果的に学習する。
• ℓ₁復元器をプロジェクション勾配ステップにアンフォールドすることで、効果的な誤差逆伝播とエンドツーエンド学習が可能になる。
• 実データセットを用いた実験により、スパarsityを超えた活用可能な構造が存在することが確認された。
• 学習された符号化器は、再構成精度を維持または向上させながら、必要な測定回数を削減する。
• データ固有のパターンを活用することで、本手法は圧縮センシングタスクにおいて優れたパフォーマンスを示す。