[論文レビュー] Understanding Trainable Sparse Coding via Matrix Factorization

Thomas Moreau, Joan Bruna|arXiv (Cornell University)|Sep 1, 2016

Advanced Data Compression Techniques被引用数 14

ひとこと要約

この論文は、LISTA のようなトレーニング可能なスパースコーディング手法が標準の ISTA よりも高速に収束する理由を、辞書のグラム行列の特定の行列分解から生じる加速に起因することを示している。この分解は、グラム行列をほぼ対角化するとともに、ℓ₁ ボールの構造を保持する。著者らは、この分解のもとで収束速度の向上を理論的に証明し、画像データセットを用いた実験でも裏付けをとった。加速は、このような分解が存在しない場合には発生しないことを示した。

ABSTRACT

Sparse coding is a core building block in many data analysis and machine learning pipelines. Typically it is solved by relying on generic optimization techniques, that are optimal in the class of first-order methods for non-smooth, convex functions, such as the Iterative Soft Thresholding Algorithm and its accelerated version (ISTA, FISTA). However, these methods don't exploit the particular structure of the problem at hand nor the input data distribution. An acceleration using neural networks was proposed in \cite{Gregor10}, coined LISTA, which showed empirically that one could achieve high quality estimates with few iterations by modifying the parameters of the proximal splitting appropriately. In this paper we study the reasons for such acceleration. Our mathematical analysis reveals that it is related to a specific matrix factorization of the Gram kernel of the dictionary, which attempts to nearly diagonalise the kernel with a basis that produces a small perturbation of the $\ell_1$ ball. When this factorization succeeds, we prove that the resulting splitting algorithm enjoys an improved convergence bound with respect to the non-adaptive version. Moreover, our analysis also shows that conditions for acceleration occur mostly at the beginning of the iterative process, consistent with numerical experiments. We further validate our analysis by showing that on dictionaries where this factorization does not exist, adaptive acceleration fails.

研究の動機と目的

• トレーニング可能なスパースコーディング手法（LISTA など）における加速の背後にある数学的メカニズムを理解すること。
• 標準の ISTA よりも高速な収束を実現するための、辞書およびデータ分布に必要な構造的条件を特定すること。
• ニューラルネットワークベースのスパースコーディングと、グラム行列の行列分解との間の理論的リンクを確立すること。
• 成功した加速が、ネットワークの容量そのものではなく、特定の行列分解の存在に依存することを示すこと。
• 提案された分解フレームワークに基づいて、パラメータ数を削減しながら性能を維持する LISTA の再パrametrization を提供すること。

提案手法

• 辞書のグラム行列 G = D^T D の行列分解を提案し、G をほぼ対角化するとともに、変換下での ℓ₁ ボールの構造をほぼ不変に保つようにする。
• この分解に基づく回転させたプロキシマル分割法を定義し、適切なスパarsity 条件のもとで、ISTA よりも優れた収束バウンドを導出する。
• LISTA ニューラルネットワークを再パラメータ化し、分解の各成分を明示的に学習するようにする。これにより、トレーニング可能なパラメータ数を削減する。
• バックプロパゲーションを用いて、画像データセット（PASCAL VOC 2008 および MNIST）上でネットワークを学習し、パッチを入力とし、スパースコードをターゲットとする。
• 反復回数ごとのコスト関数 F(z_k) - F(z*) を用いて、因子分解に基づくネットワークと標準の ISTA や LISTA の性能を比較する。
• ファーリエ辞書を用いた実験により、因子分解の必要性を検証し、因子分解が存在しない場合には加速が観察されないことを確認した。

実験結果

リサーチクエスチョン

• RQ1 辞書および入力分布のどのような構造的性質が、トレーニング可能なスパースコーディングにおける高速収束を可能にするか？
• RQ2 グラム行列の行列分解は、LISTA のパフォーマンス向上とどのように関係しているか？
• RQ3 この分解を用いて、LISTA の収束改善を理論的に説明し、バウンドを導出できるか？
• RQ4 行列分解の条件は、スパースコーディングにおける加速の必要十分条件か？
• RQ5 この分解に基づく再パラメータ化されたニューラルネットワークは、パrameter数を削減しながらも、同等のパフォーマンスを達成できるか？

主な発見

• LISTA の加速は、グラム行列をほぼ対角化するとともに ℓ₁ ボール構造を保持する行列分解に起因し、その結果、ISTA よりも収束バウンドが改善される。
• 提案された回転させたプロキシマル分割法の理論的収束バウンドは、因子分解条件を満たす場合、ISTA のバウンドを上回る。
• 数値実験では、因子分解に基づくネットワークが、1000 回以上の反復において LISTA や ISTA と同等のパフォーマンスを達成しており、特に MNIST のような構造的データでは顕著に優れている。
• MNIST では、12層の因子分解ベースのネットワークが 1000 回の反復後に ISTA の性能に達しており、構造的データにおいて顕著な高速化を示している。
• この方法は一時的である：加速は初期段階で最も顕著であり、実験的観察と整合的である。
• ファーリエ辞書では、必要な因子分解が存在しないため加速が観察されず、因子分解条件の必要性が裏付けられた。