[論文レビュー] Stable and Interpretable Unrolled Dictionary Learning

Bahareh Tolooshams, Demba Ba|arXiv (Cornell University)|May 31, 2021

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

本稿では、バックプロパゲーションによるアンロールドスパースコーディングネットワークからのコードおよび辞書推定のバイアスを解消する、証明可能に安定かつ解釈可能なアンロールド辞書学習手法PUDLEを提案する。ネットワーク初期化、損失関数、勾配更新の修正により、PUDLEは真の辞書への収束を保証し、ネットワーク重み、出力、学習データとの明示的リンクを通じて数学的解釈可能性を実現する。

ABSTRACT

The dictionary learning problem, representing data as a combination of a few atoms, has long stood as a popular method for learning representations in statistics and signal processing. The most popular dictionary learning algorithm alternates between sparse coding and dictionary update steps, and a rich literature has studied its theoretical convergence. The success of dictionary learning relies on access to a "good" initial estimate of the dictionary and the ability of the sparse coding step to provide an unbiased estimate of the code. The growing popularity of unrolled sparse coding networks has led to the empirical finding that backpropagation through such networks performs dictionary learning. We offer the theoretical analysis of these empirical results through PUDLE, a Provable Unrolled Dictionary LEarning method. We provide conditions on the network initialization and data distribution sufficient to recover and preserve the support of the latent code. Additionally, we address two challenges; first, the vanilla unrolled sparse coding computes a biased code estimate, and second, gradients during backpropagated learning can become unstable. We show approaches to reduce the bias of the code estimate in the forward pass, and that of the dictionary estimate in the backward pass. We propose strategies to resolve the learning instability by tuning network parameters and modifying the loss function. Overall, we highlight the impact of loss, unrolling, and backpropagation on convergence. We complement our findings through synthetic and image denoising experiments. Finally, we demonstrate PUDLE's interpretability, a driving factor in designing deep networks based on iterative optimizations, by building a mathematical relation between network weights, its output, and the training set.

研究の動機と目的

• アンロールドスパースコーディングネットワークにおけるバックプロパゲーションに起因するコードおよび辞書推定のバイアスを是正すること。
• 初期化およびデータ分布に関する理論的条件を用いて、辞書学習の安定的収束を保証すること。
• ネットワーク重み、出力、学習データとの数学的リンクを確立することで、ディープネットワークの解釈可能性を向上させること。
• アンロールドネットワークを介したバックプロパゲーションにおける勾配更新の不安定性を解消すること。
• スパースコードのサポート回復を保持する理論的根拠に基づくアンロールド辞書学習フレームワークを提供すること。

提案手法

• PUDLEは、T回のスパースコーディングを含むアンロールドISTAベースのネットワークを採用し、各層がlasso解の微分可能近似を学習する。
• 前向き伝搬におけるコード推定バイアスを低減し、逆伝搬における勾配更新を安定化させるために、修正された損失関数を導入する。
• 初期化段階で、ペアワイズ法（Arora et al., 2015）に基づく特化したネットワーク初期化戦略を用いることで、初期のサポート回復を向上させる。
• ステップサイズαの調整と正則化パラメータνの減衰機構の導入により、勾配更新を安定化させる。
• 各学習サンプルが最終的な辞書およびコード出力に与える寄与度を定量化するグラム行列Gを構築することで、解釈可能性を実現する。
• 自動微分をアンロールドネットワークを介してバックプロパゲーションで用いることで辞書を学習し、各更新後に正規化を適用する。

実験結果

リサーチクエスチョン

• RQ1 ネットワーク初期化およびデータ分布にどのような条件下で、アンロールド辞書学習が真のスパースコードのサポートを保持できるか。
• RQ2 アンロールドネットワークの前向き伝搬におけるコード推定バイアスをどのように低減すれば、辞書回復の性能が向上するか。
• RQ3 損失関数およびネットワークパラメータにどのような変更を加えることで、アンロールド辞書学習におけるバックプロパゲーション時の勾配更新が安定化するか。
• RQ4 数学的フレームワークを用いて、学習済みの辞書およびコードを学習データと結びつけることで、どのように解釈可能にするか。
• RQ5 アンロールド深さ、学習率、バッチサイズが、アンロールド辞書学習における収束性および安定性に与える影響は何か。

主な発見

• PUDLEは、さまざまな学習率において真の辞書の近傍への安定的収束を達成し、特にae-ls勾配を用いた場合に最も良好な収束が観察された。
• 適切な初期化およびデータ分布の仮定のもとで、合成実験により真のスパースコードのサポート回復に成功した。
• PUDLEを用いた辞書学習は、NOODLおよびSPORCOを上回り、BSD100データセットにおける9×9畳み込み辞書を用いて、31.4 dBのPSNRを達成した。
• ペアワイズ初期化法の使用により、アンロールド深さが限定的（T=25）であっても、収束が速く、サポート回復性能が向上した。
• グラム行列の構築により解釈可能な解析が可能となり、MNIST実験では上位200件の寄与する学習画像が再構成エネルギーの90%以上を占めることが示された。
• 実験により、学習率の変動に対してもロバストであることが示された。10−4、10−3、10−2の学習率すべてで収束が維持されたが、より小さい学習率ではより多くのエポックを要した。