[論文レビュー] Learning step sizes for unfolded sparse coding

Pierre Ablin, Thomas Moreau+2 more|arXiv (Cornell University)|May 27, 2019

Sparse and Compressive Sensing Techniques参考文献 34被引用数 4

ひとこと要約

本稿では、スパースコーディングのための反復的縮小・閾値処理法（ISTA）におけるステップサイズのみを学習する神経ネットワークアーキテクチャ、Step-LISTA（SLISTA）を提案する。これにより、スパース解の収束が著しく高速化される。理論的には、収束する任意のLISTAネットワークの深層が、学習済みステップサイズを用いたISTAに還元されることを証明し、実験的にも高スパースリグレッション下で最先端の手法を上回る性能を示す一方で、辞書構造を保持する。

ABSTRACT

Sparse coding is typically solved by iterative optimization techniques, such as the Iterative Shrinkage-Thresholding Algorithm (ISTA). Unfolding and learning weights of ISTA using neural networks is a practical way to accelerate estimation. In this paper, we study the selection of adapted step sizes for ISTA. We show that a simple step size strategy can improve the convergence rate of ISTA by leveraging the sparsity of the iterates. However, it is impractical in most large-scale applications. Therefore, we propose a network architecture where only the step sizes of ISTA are learned. We demonstrate that for a large class of unfolded algorithms, if the algorithm converges to the solution of the Lasso, its last layers correspond to ISTA with learned step sizes. Experiments show that our method is competitive with state-of-the-art networks when the solutions are sparse enough.

研究の動機と目的

• スパースコーディングのためのISTAの収束速度を、適応的ステップサイズを学習することで高速化すること。
• パラメータを完全に最適化するのではなく、ステップサイズのみを学習する実用的なニューラルネットワークアーキテクチャの開発。
• 深層の学習済みISTAネットワークがなぜ、学習済みステップサイズを用いたISTAに収束するのかを理論的に正当化すること。
• 高スパースリグレッション下で、ステップサイズのみを学習するアプローチが最先端手法と同等の性能を示すかを検証すること。
• 辞書構造を保持することで、畳み込み型やウェーブレットベースのモデルのような構造的設定への応用を可能にすること。

提案手法

• スパースリグレッションに適したリプシッツ定数を用いて、より大きく適応的なステップサイズを計算する解析的手法、Oracle-ISTAを提案。これにより、ISTAの収束速度が向上する。
• 辞書Dは固定されたまま、各層でステップサイズパラメータαのみを学習する神経ネットワーク、Step-LISTA（SLISTA）を導入。
• 微分可能で層ごとの更新ルールを用いる：z^(t+1) = ST(z^(t) - α^(t) D^T(Dz^(t) - x), λα^(t))、ここでα^(t)は学習可能なパラメータ。
• 定理4.4で理論的に証明：収束する任意のLISTAネットワークの最深層は、学習済みステップサイズを用いたISTAに還元され、すなわちW^(t) → D かつ α^(t)/β^(t) → 1 となる。
• 教師なし損失関数を用いて、合成データおよび準実データ（例：MNISTの数字）上でSLISTAを訓練し、再構成誤差を最小化する。
• 正則化パrameter λの変化に応じたテスト損失曲線を用いて、ISTA、LISTA、ALISTAと比較して性能を検証。

実験結果

リサーチクエスチョン

• RQ1 ISTAにおけるステップサイズのみの学習が、スパースコーディングの収束速度を著しく向上させ得るか？
• RQ2 深層の学習済みISTAネットワークに学習済みステップサイズが出現する理論的根拠は何か？
• RQ3 高スパースリグレッション下で、SLISTAは完全なLISTAやALISTAと比較してテスト損失および収束速度で優れるか？
• RQ4 SLISTAが辞書構造を保持することで、畳み込み型やウェーブレットベースのスパースコーディングにおいて、より優れた一般化性能やスケーラビリティが得られるか？
• RQ5 ALISTAが教師なし設定で収束しないのはなぜか？この現象は理論的発見とどのように関連しているか？

主な発見

• 正則化パrameter λ = 0.8 の高スパースリグレッション下で、SLISTAはLISTAやALISTAを上回るテスト損失を示し、高スパースリグレッション下での優れた性能を裏付けた。
• 低スパースリグレッション（低λ）下ではLISTAが最も優れた性能を示す。これは、解がスパースでない場合、SLISTAが大きなステップを活用できないためである。
• 定理4.4により、収束する任意のLISTAネットワークの最深層は、学習済みステップサイズを用いたISTAに還元されることが確認され、SLISTAのアーキテクチャ選択の正当性が裏付けられた。
• 実験結果から、訓練済みSLISTAネットワークでは、比 α^(t)/β^(t)W^(t) がDに収束することが示され、重みが理論的に辞書と一致していることが確認された。
• SLISTAは辞書構造を保持するため、畳み込み型やウェーブレットベースのスパースコーディングに高速な行列乗算を組み合わせて応用可能である。
• ALISTAは教師なし設定で収束しなかったが、これは定理4.4と整合的であり、W_ALISTAがDと一致するにはステップサイズが学習されなければならないことを示唆している。