[論文レビュー] Topological Insights into Sparse Neural Networks

Shiwei Liu, Tim van der Lee+6 more|TU/e Research Portal|Jun 24, 2020

Advanced Graph Neural Networks参考文献 35被引用数 4

ひとこと要約

本稿では、スパースニューラルネットワークのトポロジー的差異を測定するためのグラフ理論ベースのメトリクスであるニューラルネットワークスパーストポロジーディスタンス（NNSTD）を提案する。NNSTDを適応的スパース接続性の分析に適用することで、著者らは、多くの構造的に異なるスパース部分ネットワークが、事前学習を伴わずに高い性能を達成できることを示した。これは、ロトタリーキャッチ・ハイポセシスを補完するものであり、適応的スパース性が、事前学習なしに、トポロジカルに多様な多数の高性能部分ネットワークを発見可能であることを示している。

ABSTRACT

Sparse neural networks are effective approaches to reduce the resource requirements for the deployment of deep neural networks. Recently, the concept of adaptive sparse connectivity, has emerged to allow training sparse neural networks from scratch by optimizing the sparse structure during training. However, comparing different sparse topologies and determining how sparse topologies evolve during training, especially for the situation in which the sparse structure optimization is involved, remain as challenging open questions. This comparison becomes increasingly complex as the number of possible topological comparisons increases exponentially with the size of networks. In this work, we introduce an approach to understand and compare sparse neural network topologies from the perspective of graph theory. We first propose Neural Network Sparse Topology Distance (NNSTD) to measure the distance between different sparse neural networks. Further, we demonstrate that sparse neural networks can outperform over-parameterized models in terms of performance, even without any further structure optimization. To the end, we also show that adaptive sparse connectivity can always unveil a plenitude of sparse sub-networks with very different topologies which outperform the dense model, by quantifying and comparing their topological evolutionary processes. The latter findings complement the Lottery Ticket Hypothesis by showing that there is a much more efficient and robust way to find "winning tickets". Altogether, our results start enabling a better theoretical understanding of sparse neural networks, and demonstrate the utility of using graph theory to analyze them.

研究の動機と目的

• スパースニューラルネットワークトポロジーを比較するための理論的理解の不足に対処すること。
• 特に適応的スパース接続性下での、スパーストポロジーの学習過程における変化を定量化すること。
• 構造的に異なる多数のスパース部分ネットワークが、類似した性能を達成できるかどうかを調査すること。
• 異なる初期化において、適応的スパース接続性が一貫して高性能なトポロジーを発見できるかどうかを特定すること。
• グラフベースのメトリクスを用いて、スパースニューラルネットワークの理論的分析の基盤を提供すること。

提案手法

• グラフ編集距離（GED）にインspiredされた、隠れニューロンの入れ替えを許容する新しい距離メトリクスであるNNSTDを提案。
• スパースニューラルネットワークを、重み接続をエッジ、ニューロンをノードとして扱う大規模なニューラルグラフとしてモデル化する。
• ノードの順列不変性をNNSTDに組み込むことで、ニューロンの再順序付けに対してもトポロジー的類似性が保たれることを保証する。
• 複数のランダムシードとプルーニングレートを用いて、スパースエボリューショントレーニング（SET）によって進化するスパーストポロジーをNNSTDで比較する。
• 固定されたトポロジーを用いた再学習実験を実施し、性能に与えるトポロジーと重み最適化の寄与を分離する。
• トレーニング中のトポロジー的進化経路を可視化し、スパース構造が時間経過とともにどのように適応するかを分析する。

実験結果

リサーチクエスチョン

• RQ1 高性能なスパースニューラルネットワークトポロジーは、構造的にどれほど異なるのか？
• RQ2 非常に異なるスパーストポロジーが、事前学習なしに類似した性能を達成できるのか？
• RQ3 適応的スパース接続性が、多様でありながら効果的なトポロジーをどれほど効果的に発見できるのか？
• RQ4 適応的接続性を用いたトレーニング中に、スパースネットワークのトポロジカル構造はどのように進化するのか？
• RQ5 スパースネットワークの性能は、トポロジー、重み最適化、あるいは両者の組み合わせによるものなのか？

主な発見

• NNSTDは、スパースニューラルネットワーク間のトポロジカル差異を効果的に測定でき、構造的多様性の定量的比較を可能にした。
• 構造的に異なる多数のスパース部分ネットワークが、デュアルモデルよりも同等またはより高いテスト精度を達成しており、多数の高性能トポロジーが存在することを示した。
• SETによる適応的スパース接続性は、一貫して構造的に異なる多数の部分ネットワークを発見でき、すべてがデュアルベースラインを上回る性能を示した。
• 初期重みから固定されたトポロジーを用いた再学習実験では、性能が時間経過とともに向上した。これは、トポロジーの進化が成功の鍵であることを示唆している。
• 重み最適化とトポロジー最適化の組み合わせが不可欠である。最適化されたトポロジーを有するランダム初期化スパースネットワークは、重み最適化のみのものよりも優れた性能を示した。
• 結果から、適応的スパース接続性は、ラッキーな初期化や事前学習に依存せずに、高性能な部分ネットワークを発見する強力な手法であると示唆された。