[論文レビュー] Deep Sparse Coding Using Optimized Linear Expansion of Thresholds

Debabrata Mahapatra, Subhadip Mukherjee+1 more|arXiv (Cornell University)|May 20, 2017

Sparse and Compressive Sensing Techniques参考文献 37被引用数 13

ひとこと要約

本稿では、線形閾値展開（LET）に基づく学習可能な活性化関数を用いて、FISTAアルゴリズムをアンフォールドした深層ニューラルネットワーク（DNN）を提案する。このネットワークはヘッセフリー最適化を用いて各層あたり5パラメータのみを学習し、最新のスパースコーディング手法と比較して3–4 dB高い再構成SNRを達成している。残差ネットワークと同等の性能を示しているが、層数は半分である。

ABSTRACT

We address the problem of reconstructing sparse signals from noisy and compressive measurements using a feed-forward deep neural network (DNN) with an architecture motivated by the iterative shrinkage-thresholding algorithm (ISTA). We maintain the weights and biases of the network links as prescribed by ISTA and model the nonlinear activation function using a linear expansion of thresholds (LET), which has been very successful in image denoising and deconvolution. The optimal set of coefficients of the parametrized activation is learned over a training dataset containing measurement-sparse signal pairs, corresponding to a fixed sensing matrix. For training, we develop an efficient second-order algorithm, which requires only matrix-vector product computations in every training epoch (Hessian-free optimization) and offers superior convergence performance than gradient-descent optimization. Subsequently, we derive an improved network architecture inspired by FISTA, a faster version of ISTA, to achieve similar signal estimation performance with about 50% of the number of layers. The resulting architecture turns out to be a deep residual network, which has recently been shown to exhibit superior performance in several visual recognition tasks. Numerical experiments demonstrate that the proposed DNN architectures lead to 3 to 4 dB improvement in the reconstruction signal-to-noise ratio (SNR), compared with the state-of-the-art sparse coding algorithms.

研究の動機と目的

• 圧縮されノイズの混入した測定値からスパース信号を再構成するための深層学習による性能向上を図ること。
• FISTAのような反復的シェイピングアルゴリズムを模倣するDNNアーキテクチャを設計し、性能向上に寄与する学習可能な非線形性を導入すること。
• ヘッセ行列の明示的計算を回避するヘッセフリー最適化により、効率的な訓練を可能にすること。
• 性能を維持しつつ層数を削減し、残差ネットワークに類似した構造を実現すること。
• 古典的スパースコーディング手法および最新の手法と比較して優れた再構成SNRを達成すること。

提案手法

• ネットワークアーキテクチャは、ISTA/FISTAと同様に各層で固定された重みおよびバイアスを有するFISTAアルゴリズムのアンフォールドにより導出される。
• 非線形活性化関数は、パラメータ化された線形閾値展開（LET）を用いてモデル化され、初期値としてソフト閾値処理が使用される。
• 最適なLET係数は、ヘッセ・ベクター積のみを計算する独自のヘッセフリー最適化アルゴリズムにより学習される。
• 訓練プロセスは2次最適化を用い、最小限のメモリオーバーヘッドで高速収束を実現する。
• 得られたネットワークは、標準のFISTAベースDNNと比較して約50%の層数削減を実現した深層残差ネットワーク（DRN）の変種である。
• 本手法は固定されたセンシング行列を用いて測定値とスパース信号のペairで訓練され、SNRおよびサポート回復指標を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 ヘッセフリー最適化で訓練されたDNNは、圧縮測定からの信号再構成において、古典的スパースコーディングアルゴリズムを上回ることができるか？
• RQ2 線形閾値展開（LET）に基づく学習可能な活性化関数は、標準的なソフト閾値処理を上回るスパース回復性能を実現できるか？
• RQ3 共有重みと学習可能なLET活性化関数を有するFISTAのDNNアンフォールドは、標準DNNと比較して層数を減らしてもより高い再構成SNRを達成できるか？
• RQ4 層間でパラメータを束縛（tie）することによる性能への影響はどの程度か？また、それでも最新の手法を上回ることができるか？
• RQ5 推論中にサポート推定がどの程度早期に安定化するか、およびその安定化がSNR向上とどのように相関するか？

主な発見

• 提案されたfLETnetアーキテクチャは、最新のスパースコーディングアルゴリズムと比較して3–4 dBの再構成信号対雑音比（SNR）向上を達成した。
• ネットワークは、約50%の層数削減で、完全な残差ネットワーク（DRN）と同等の性能を示しており、高いサンプル効率を示している。
• ヘッセフリー最適化により、標準的勾配降下法と比較して収束が速く、訓練性能が優れている。
• LETパラメータを層間で束縛してもSNR低下はわずか2 dBにとどまり、競合手法を2–3 dB上回っている。
• 推論の初期段階でサポート推定が安定化し、以降は主にアモニチュード回帰が行われることが、SRM解析により確認された。
• 学習を通じて層ごとの正則化子が発見され、それらが集約して標準的なℓ₁正則化子を上回る性能を示した。