[論文レビュー] Sparse Neural Networks Topologies

Alfred Bourely, John Patrick Boueri+1 more|arXiv (Cornell University)|Jun 18, 2017

Neural Networks and Applications参考文献 11被引用数 8

ひとこと要約

本稿では、モデル圧縮と高速な推論を実現するために、ランダムまたは構造的な二部グラフトポロジーに基づくスパースニューラルネットワーク（SNN）アーキテクチャを提案する。訓練の前段階で明示的にスパース接続を定義することで、特にフィボナッチやレギュラーといった構造的トポロジーを用いることで、SNNは完全結合ネットワークと同等またはそれ以上の精度を達成できることを示している。特に、代数的連結度やスペクトルギャップが高く、拡張子のような性質を示すトポロジーではその効果が顕著である。

ABSTRACT

We propose Sparse Neural Network architectures that are based on random or structured bipartite graph topologies. Sparse architectures provide compression of the models learned and speed-ups of computations, they can also surpass their unstructured or fully connected counterparts. As we show, even more compact topologies of the so-called SNN (Sparse Neural Network) can be achieved with the use of structured graphs of connections between consecutive layers of neurons. In this paper, we investigate how the accuracy and training speed of the models depend on the topology and sparsity of the neural network. Previous approaches using sparcity are all based on fully connected neural network models and create sparcity during training phase, instead we explicitly define a sparse architectures of connections before the training. Building compact neural network models is coherent with empirical observations showing that there is much redundancy in learned neural network models. We show experimentally that the accuracy of the models learned with neural networks depends on expander-like properties of the underlying topologies such as the spectral gap and algebraic connectivity rather than the density of the graphs of connections.

研究の動機と目的

• ニューラルネットワークのトポロジーとスパarsityがモデルの精度および学習速度に与える影響を調査すること。
• 完全結合ネットワークの学習中にスパース化するのではなく、構造的グラフトポロジーを用いてコンactで圧縮可能なSNNアーキテクチャを設計すること。
• 代数的連結度やスレクトルギャップといったグラフ理論的性質がSNNの性能にどのように関連するかを特定すること。
• ドロップアウトやより深いネットワークアーキテクチャにおけるSNNのロバストネスを評価すること。
• スパarsity、重み分布、およびスパーストポロジーにおけるモデルの一般化性能の関係を理解すること。

提案手法

• 隣接行列を用いて、連続する層間の二部グラフを定義する。未重み付きの $ n \times m $ 行列を用い、$ \text{Adj}[i][j] = 1 $ が接続が存在する場合に設定する。
• 正則（均一な次数）やフィボナッチ（擬似正則かつ擬似ランダム）といった構造的トポロジーを用い、スパースで圧縮可能な接続パターンを生成する。
• 各層の重み行列に隣接行列を要素ごとに適用することで、学習開始段階からスパarsityを強制する。
• スペクトルギャップとラプラシアン行列の代数的連結度を、主要なグラフ的性質として性能評価に用いる。
• 固定されたトポロジーを用いてSNNを学習し、複数のデータセットと設定において、完全結合ベースラインと精度および学習速度を比較する。
• ドロップアウト（0.2および0.5）とより深いアーキテクチャ（例：784-500-300-10）を用いて、正則化および深さの影響下での一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 スパーストポロジーの選択（ランダム対構造的）がSNNの精度および学習速度にどのように影響するか？
• RQ2 フィボナッチやレギュラーといった構造的スパーストポロジーは、モデルサイズを削減しながら完全結合ネットワークを上回る精度を達成できるか？
• RQ3 スペクトルギャップや代数的連結度といったグラフ理論的性質が、高性能なSNNアーキテクチャを予測するのにどのように関連するか？
• RQ4 ドロップアウトやより深いネットワーク設定下でSNNはどのように性能を発揮するか？
• RQ5 スパarsityはSNNにおける学習された重みの分布および大きさにどのように影響するか？

主な発見

• 特にフィボナッチやレギュラーといった構造的トポロジーを用いたSNNは、同等または低いスパarsityレベルでも完全結合ネットワークを上回る精度を達成する。
• 非常にスパースな状態（10％未満の接続率）において、フィボナッチSNNはその擬似ランダムかつ擬似正則な構造のおかげで高い精度を維持し、他のトポロジーを上回る。
• 基礎となるグラフトポロジーの代数的連結度およびスペクトルギャップは、モデル精度と強く相関しており、『拡張子のような』性質が一般化性能を向上させることを示している。
• 接続率がたった30％でも、フィボナッチまたはレギュラートポロジーのSNNは、同じ学習エポック数で完全結合同等のモデルよりも0.15％の精度向上を達成する。
• ドロップアウト（0.2および0.5）を適用しても、構造的SNNの性能優位性は損なわれず、過学習に対するロバストネスが確認された。
• スパarsityが増加するにつれ、学習された重みの最大値、最小値、標準偏差が減少し、残存する重みがより重要かつ価値あるものになる傾向が示された。