[論文レビュー] Sparse Deep Stacking Network for Image Classification

Jun Li, Heyou Chang+1 more|arXiv (Cornell University)|Jan 5, 2015

Advanced Image and Video Retrieval Techniques参考文献 33被引用数 29

ひとこと要約

本論文は、グループスパース正則化（$l_{1}/l_{2}$ノルム）を簡素化されたニューラルネットワークモジュール（SNNM）に統合することで、判別的でスパースな表現の効率的学習を可能にするスパース・ディープスタッキングネットワーク（S-DSN）を提案する。このモデルは、線形分類器のみを用いて15 Sceneデータセットで98.8%の精度を達成し、LC-KSVD、DSN、DeepSCを含む最先端の手法を上回る性能を示した。

ABSTRACT

Sparse coding can learn good robust representation to noise and model more higher-order representation for image classification. However, the inference algorithm is computationally expensive even though the supervised signals are used to learn compact and discriminative dictionaries in sparse coding techniques. Luckily, a simplified neural network module (SNNM) has been proposed to directly learn the discriminative dictionaries for avoiding the expensive inference. But the SNNM module ignores the sparse representations. Therefore, we propose a sparse SNNM module by adding the mixed-norm regularization (l1/l2 norm). The sparse SNNM modules are further stacked to build a sparse deep stacking network (S-DSN). In the experiments, we evaluate S-DSN with four databases, including Extended YaleB, AR, 15 scene and Caltech101. Experimental results show that our model outperforms related classification methods with only a linear classifier. It is worth noting that we reach 98.8% recognition accuracy on 15 scene.

研究の動機と目的

• スパースコーディングの推論における高い計算コストを低減しつつ、ノイズに強く、高次特徴をモデル化できる能力を維持すること。
• 従来のディープスタッキングネットワーク（DSN）が隠れ層におけるスパース表現を無視するという限界を克服すること。
• モデルの複雑さや接続数を増加させることなく、スパース表現学習をSNNMモジュールに統合すること。
• 高速な推論を維持しながら分類精度を向上させるスケーラブルな深層アーキテクチャを構築すること。

提案手法

• 隠れ表現におけるグループスパース性を強制するために、SNNMモジュールに$l_{1}/l_{2}$ノルム正則化を追加することでスパースSNNMモジュールを提案する。
• 訓練速度と性能の向上を図るため、従来のシグモイド関数のみの設計と比較して、ReLUとシグモイド活性化関数をSNNMモジュールで併用する。
• 複数のスパースSNNMモジュールをスタックしてディープスタッキングネットワーク（S-DSN）を構築し、階層的特徴抽象化を可能にする。
• 下層の重みを凸最適化で、上層の重みを勾配降下法で最適化することで、判別的辞書学習を保証する。
• 一般化性能の評価のため、空間ピラミッド特徴量とランダムフェイス特徴量を入力として用いる。
• 最終予測には線形分類器を採用し、モデルの強みが複雑な非線形境界ではなく表現学習に帰属することを示す。

実験結果

リサーチクエスチョン

• RQ1 $l_{1}/l_{2}$正則化によって学習されるスパース表現は、深層ネットワークにおける高速な推論を維持しながら画像分類精度を向上させることができるか？
• RQ2 SNNMモジュールにスパース性を統合することで、標準的なDSNやLC-KSVDのようなスパースコーディング手法よりも優れた性能が得られるか？
• RQ3 活性化関数の選択（ReLU対シグモイド）が、S-DSNにおけるスパースSNNMモジュールの性能にどのように影響するか？
• RQ4 隠れユニット数や層の数を増加させることで、S-DSNフレームワークにおける分類精度はどの程度向上するか？
• RQ5 S-DSNは、複雑な深層モデルに比べてより複雑な非線形境界を必要とせず、線形分類器のみで最先端の結果を達成できるか？

主な発見

• S-DSN(relu)-1は15 Sceneデータセットで98.8%の認識精度を達成し、LC-KSVD（5.9%上回り）および他の深層モデルを顕著に上回った。
• Caltech101では、カテゴリあたり30サンプルでS-DSN(relu)-1が76.2%の精度を達成し、DSNより1.5%、LC-KSVDより2.6%優れていた。
• 隠れユニット数の変動に対しても高い精度を維持しており、ユニット数を100から3000に増加させることで性能が向上した。
• 層の数を増加させることで分類精度が向上し、S-DSNにおける深層階層的特徴抽象化の利点を裏付けた。
• S-DSN(sigm)-1とS-DSN(relu)-1の両方が、すべてのデータセットでDSNや他の辞書学習手法を上回り、スパース性と優れた活性化関数の利点を示した。
• 混同行列から、産業施設と店舗のカテゴリが最も頻繁に誤分類されていることが判明し、類似したクラス間特徴や特徴の曖昧さが要因である可能性がある。