[論文レビュー] Learning a Compressed Sensing Measurement Matrix via Gradient Unrolling

Shanshan Wu, Alexandros G. Dimakis+6 more|arXiv (Cornell University)|Jun 26, 2018

Sparse and Compressive Sensing Techniques被引用数 39

ひとこと要約

本論文は、勾配アンローリングを用いて非微分可能な ℓ₁ デコーダーを微分可能にすることで、エンドツーエンド学習を可能にするデータ駆動型手法を提案し、スパースデータに隠れた構造的パターンに適応する圧縮センシング測定行列 $A$ を学習する。この手法は、合成および実世界のスパースデータセット（テキスト、人種的・文化的要因、ゲノムデータなど）において、最先端の手法と比較して1.1–3倍少ない測定回数で高い再構成精度を達成する。さらに、極端なマルチラベル分類への応用においても有効である。

ABSTRACT

Linear encoding of sparse vectors is widely popular, but is commonly data-independent -- missing any possible extra (but a priori unknown) structure beyond sparsity. In this paper we present a new method to learn linear encoders that adapt to data, while still performing well with the widely used $\ell_1$ decoder. The convex $\ell_1$ decoder prevents gradient propagation as needed in standard gradient-based training. Our method is based on the insight that unrolling the convex decoder into $T$ projected subgradient steps can address this issue. Our method can be seen as a data-driven way to learn a compressed sensing measurement matrix. We compare the empirical performance of 10 algorithms over 6 sparse datasets (3 synthetic and 3 real). Our experiments show that there is indeed additional structure beyond sparsity in the real datasets; our method is able to discover it and exploit it to create excellent reconstructions with fewer measurements (by a factor of 1.1-3x) compared to the previous state-of-the-art methods. We illustrate an application of our method in learning label embeddings for extreme multi-label classification, and empirically show that our method is able to match or outperform the precision scores of SLEEC, which is one of the state-of-the-art embedding-based approaches.

研究の動機と目的

• データに依存しない測定行列の限界を克服し、単なるスパarsityを越えたデータ構造に適応する測定行列の学習を目的とする。
• 非微分可能な $\ell_1$ デコーダーがある中で、勾配ベースの測定行列学習を可能にする。
• スパースデータセットに隠れた相関関係を活用することで、少ない測定回数でより優れた再構成性能を実現する。
• 学習された行列が極端なマルチラベル分類などの下流タスクにおいて有効であることを示す。
• 高次元スパースデータに対して微分可能で解釈可能かつ効率的な線形エンコーダーを提供する。

提案手法

• 勾配アンローリングを用いて、$\ell_1$ デコーダーを $T$ ステップの投影勾配降下ステップとして近似し、デコーダーを介したバックプロパゲーションを可能にする。
• 測定行列の学習を、線形エンコーダー（$A$）と非線形デコーダー（$D(A, \cdot)$）からなるオートエンコーダーとして定式化し、$\ell_1$ 最小化問題を解く。
• 測定行列 $A$ を、実効再構成誤差 $\sum_{i=1}^n \|x_i - D(A, Ax_i)\|_2^2$ を用いてエンドツーエンドで訓練する。
• アンロールド最適化を適用することで、$\ell_1$ ベースの回復を微分可能にし、バックプロパゲーションによる学習を可能にする。
• 学習された行列 $A$ を、スパースデータ内の構造的パターンを捉えるデータ駆動型測定行列として用いる。
• 極端なマルチラベル分類への応用においては、$Z = AY$ を用いてラベル埋め込みを学習し、その後標準的な線形マッピングを用いて予測を行う。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型測定行列は、単なるスパarsityを越えてスパースデータに隠れた構造的パターンを学習できるか？
• RQ2 勾配アンローリングにより、非微分可能な $\ell_1$ デコーダーがある状況でも測定行列のエンドツーエンド学習が可能か？
• RQ3 データ構造に適応する測定行列の学習により、正確な再構成に必要な測定回数を削減できるか？
• RQ4 学習された測定行列は、極端なマルチラベル分類のような下流タスクで性能向上をもたらすか？
• RQ5 再構成精度と測定効率の観点から、本手法は最先端の手法と比較してどのように差をつけるか？

主な発見

• 本手法は、合成データ3件および実データ3件の合計6つのスパースデータセットにおいて、最先端の手法と比較して正確な再構成に必要な測定回数を1.1–3倍まで削減した。
• 本手法は、実世界のスパースデータセット（テキスト、人種的・文化的要因、ゲノムデータなど）に隠れた相関関係（例：関連する特徴量）を効果的に発見・活用した。
• 極端なマルチラベル分類において、EURLex-4K および Wiki10-31K で SLEEC と同等またはそれを上回る精度を達成し、Wiki10-31K では1つのモデルで P@1 が 0.8617 を達成した。
• 3つまたは5つのモデルをアンサンブル化することで、SLEEC と同等またはより高い精度を達成し、Wiki10-31K では P@1 が 0.8640 を達成した。
• 学習された測定行列は解釈可能であり、各カラムが学習された特徴埋め込みに対応しており、線形符号化による計算効率の高さも兼ね備えている。
• 固定された $\ell_1$ デコーダーであっても、$A$ のデータ駆動型学習により、ランダムまたは固定行列と比較して顕著な性能向上が達成された。