[論文レビュー] Sparse Activity and Sparse Connectivity in Supervised Learning

Markus Thom, Günther Palm|arXiv (Cornell University)|Mar 28, 2016

Machine Learning and ELM参考文献 79被引用数 38

ひとこと要約

本論文は、Hoyerの正規化スパarsity測度に基づく微分可能スパarsity射影演算子を用いて、活性化と接続性の両方をスパースに制約する教師あり学習モデルを提案する。勾配ベース最適化によるエンドツーエンド学習を可能にすることで、非スパースなベースラインと比較してMNIST分類性能が向上し、スパース性の組み合わせによる顕著な向上が得られた。

ABSTRACT

Sparseness is a useful regularizer for learning in a wide range of applications, in particular in neural networks. This paper proposes a model targeted at classification tasks, where sparse activity and sparse connectivity are used to enhance classification capabilities. The tool for achieving this is a sparseness-enforcing projection operator which finds the closest vector with a pre-defined sparseness for any given vector. In the theoretical part of this paper, a comprehensive theory for such a projection is developed. In conclusion, it is shown that the projection is differentiable almost everywhere and can thus be implemented as a smooth neuronal transfer function. The entire model can hence be tuned end-to-end using gradient-based methods. Experiments on the MNIST database of handwritten digits show that classification performance can be boosted by sparse activity or sparse connectivity. With a combination of both, performance can be significantly better compared to classical non-sparse approaches.

研究の動機と目的

• ニューラルネットワークの活性化と重みにおける所定のスパarsityレベルを強制する微分可能なスパarsity射影演算子の開発。
• スパースな活性化とスパースな接続性を統合した教師あり学習フレームワークを構築し、分類性能の向上を図ること。
• スパarsity射影の数学的厳密な基盤を提供し、従来のアルゴリズムにおける欠落を補完すること。
• 勾配ベース最適化を用いたスパarsity制約付きモデルのエンドツーエンド学習を可能にすること。

提案手法

• コアとなる手法は、入力ベクトルに対して所定のHoyerのスパarsity値を持つ最も近いベクトルを特定するスパarsity強制型射影演算子を採用する。
• 射影はL1およびL2ノルムの制約を課した制約付き最適化問題として定式化され、ターゲットのスパarsityレベルが達成されることを保証する。
• 射影演算子はほとんど至る所で微分可能であることが証明されており、バックプロパゲーションにおける滑らかな活性化関数としての利用が可能である。
• モデルは射影を二段階アーキテクチャに統合する：スパースオートエンコーダ制約を備えた再構成モジュールと、交差エントロピー損失を備えた分類ヘッド。
• 勾配は標準的なバックプロパゲーションを用いて計算され、類似度測定とスパarsity射影の明示的導出が提供されている。
• 全体の損失は再構成誤差と分類誤差の凸結合として定式化され、スパarsityと予測性能の共同最適化が可能となる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークの活性化と重みに所望のスパarsityレベルを強制する微分可能なスパarsity射影演算子を構築可能か？
• RQ2 スパースな活性化とスパースな接続性の統合は、教師あり学習における分類性能にどのように影響を与えるか？
• RQ3 提案されたスパarsity射影演算子はエンドツーエンドの勾配ベース最適化と互換性があるか？
• RQ4 スパースな活性化とスパースな接続性の相対的寄与度は何か？
• RQ5 両方のスパarsityタイプの組み合わせは、単独でのスパarsityよりも性能向上をもたらすか？

主な発見

• 提案されたスパarsity射影演算子はほとんど至る所で微分可能であり、ディープラーニングモデルにおける滑らかで学習可能なコンponentsとしての利用が可能である。
• MNISTデータセットにおける実験では、スパースな活性化を導入するだけで、非スパースなベースラインと比較して分類性能が向上した。
• スパースな接続性のみでも性能向上が見られ、構造的スパarsityが学習を強化することを示している。
• スパースな活性化とスパースな接続性の組み合わせは、単独でのスパarsityタイプよりも顕著に高い分類精度を達成した。
• Hoyerのスパarsity測度の勾配が明示的に導出されており、最適化フレームワークでの利用を支援している。
• 活性化ニューロン数と接続数を低く保ちながらも性能が向上しており、効率性と一般化の利点が示された。