[論文レビュー] Deep Network Classification by Scattering and Homotopy Dictionary Learning

J. Zarka, Louis Thiry+2 more|arXiv (Cornell University)|Oct 8, 2019

Sparse and Compressive Sensing Techniques参考文献 27被引用数 21

ひとこと要約

この論文は、複雑な学習層を単一の学習済み辞書行列に置き換えるスパーススキャatteringネットワークを提案しており、正のℓ¹スパースコーディングによるクラス内変動の低減により、AlexNetを上回る高いImageNet top-1精度（83.7％）を達成している。この手法は、深層畳み込みニューラルネットワーク内での高速かつ指数的収束を示すホモトピーに基づく反復しきい値処理を用いる。

ABSTRACT

We introduce a sparse scattering deep convolutional neural network, which provides a simple model to analyze properties of deep representation learning for classification. Learning a single dictionary matrix with a classifier yields a higher classification accuracy than AlexNet over the ImageNet 2012 dataset. The network first applies a scattering transform that linearizes variabilities due to geometric transformations such as translations and small deformations. A sparse $\\ell^1$ dictionary coding reduces intra-class variability while preserving class separation through projections over unions of linear spaces. It is implemented in a deep convolutional network with a homotopy algorithm having an exponential convergence. A convergence proof is given in a general framework that includes ALISTA. Classification results are analyzed on ImageNet.

研究の動機と目的

• 複雑なネットワークを単一の学習済み辞書行列に簡略化することで、深層表現学習を容易にする。
• 辞書学習が画像分類のためのスキャattering表現をどのように改善するかを分析する。
• スパースコーディングのための証明可能な収束性を持つ数学的に取り扱いやすい深層ネットワークアーキテクチャを開発する。
• 複数の学習層を含むブロックを避けて、1つの学習済み辞書のみを用いてImageNetで高い分類精度を達成する。

提案手法

• ネットワークは、平行移動や微小変形などの幾何的変動を線形化するために、事前に定義されたスキャattering変換を適用する。
• スキャattering係数は、学習済み辞書行列Dを介して投影され、正のℓ¹スパースコードαが計算される。
• スパースコーディングにはホモトピーに基づく反復ソフトしきい値処理アルゴリズム（ISTC）が用いられ、一般条件下で指数的収束が証明されている。
• 辞書Dと分類器は、分類損失を最小化するために確率的勾配降下法を用いて共同最適化される。
• この手法は、辞書が分類器とエンドツーエンドで学習される簡略化された深層畳み込みアーキテクチャを採用する。
• アルゴリズムはReLU活性化関数を用い、ALISTAとホモトピー続行法の構造を活用して高速収束を実現する。

実験結果

リサーチクエスチョン

• RQ1 1つの学習済み辞書行列が、事前に定義されたスキャattering表現のImageNetにおける性能を顕著に向上させることができるか？
• RQ2 指数的収束を示すホモトピーに基づくスパースコーディングは、標準的なISTAやFISTAと比較して、深層ネットワーク内での最適化をより効果的に可能にするか？
• RQ3 スキャattering係数上でのスパースコーディングは、クラス内変動を低減すると同時にクラス間分離性を保持する仕組みは何か？
• RQ4 精度を損なわずに、深層ネットワークを1つの辞書学習問題にまで簡略化できる程度はどの程度か？
• RQ5 このフレームワーク内でのホモトピースパースコーディングアルゴリズムの指数的収束を保証する数学的条件は何か？

主な発見

• 提案されたスパーススキャatteringネットワークは、ImageNet 2012でtop-1精度83.7％を達成し、AlexNetの性能を上回った。
• 正のℓ¹スパースコーディングを用いた1つの学習済み辞書Dを用いることで、スキャattering表現の近似誤差が半減し、非情報的で雑音に近いエネルギーが排除された。
• W = Dを満たすホモトピーISTCアルゴリズムは、理論的非一貫性条件が満たされていなくても、実際には指数的収束を示した。
• 12反復後、ISTCは相対的平均二乗誤差を0.02にまで低下させ、FISTA（0.23）やISTA（0.45）を上回るスパースコード近似性能を示した。
• 完全なスキャattering表現LSxをスパースコードDα¹に置き換えることで、α¹を直接用いる場合と比較して分類精度が14％向上した。
• 学習済み辞書ベクトルDmは、スキャattering係数空間における識別的特徴として機能し、クラスを識別する方向を最適化された形で保持している。