[論文レビュー] SWNet: Small-World Neural Networks and Rapid Convergence

Mojan Javaheripi, Bita Darvish Rouhani+1 more|arXiv (Cornell University)|Apr 9, 2019

Neural Networks and Applications参考文献 28被引用数 8

ひとこと要約

本論文では、標準的な順方向ネットワークを小規模世界的トポロジーに変換することで、学習収束を高速化する、SWNetと呼ばれる新しい深層学習アーキテクチャを提案する。小規模世界的ネットワーク理論にインspiredされた、戦略的なスパースで長距離のスキップ接続を追加することにより、SWNetはベースラインモデルと比較して最大2.1倍の高速化を達成し、DenseNetと比較してパラメータを最大10倍まで削減しながら、精度に損なわれることなく、収束を促進する。

ABSTRACT

Training large and highly accurate deep learning (DL) models is computationally costly. This cost is in great part due to the excessive number of trained parameters, which are well-known to be redundant and compressible for the execution phase. This paper proposes a novel transformation which changes the topology of the DL architecture such that it reaches an optimal cross-layer connectivity. This transformation leverages our important observation that for a set level of accuracy, convergence is fastest when network topology reaches the boundary of a Small-World Network. Small-world graphs are known to possess a specific connectivity structure that enables enhanced signal propagation among nodes. Our small-world models, called SWNets, provide several intriguing benefits: they facilitate data (gradient) flow within the network, enable feature-map reuse by adding long-range connections and accommodate various network architectures/datasets. Compared to densely connected networks (e.g., DenseNets), SWNets require a substantially fewer number of training parameters while maintaining a similar level of classification accuracy. We evaluate our networks on various DL model architectures and image classification datasets, namely, CIFAR10, CIFAR100, and ILSVRC (ImageNet). Our experiments demonstrate an average of ~2.1x improvement in convergence speed to the desired accuracy

研究の動機と目的

• 冗長で高パラメータ化されたアーキテクチャに起因する、深層学習モデルの学習にかかる高コストを軽減すること。
• ネットワークトポロジーを再構成することで、モデルの精度を損なわず、学習収束速度を向上させること。
• 特に小規模世界的ネットワーク特性を活用したグラフ理論の原則を、CNNにおける層間接続最適化に応用すること。
• パラメータの冗長性を低減しつつ、深層ネットワークにおける特徴伝搬と勾配フローを維持または向上させること。
• データに依存しない、事前学習段階でのアーキテクチャ変換を実現し、スパースで長距離の接続によって信号伝搬を向上させること。

提案手法

• 深層ニューラルネットワークをグラフとして再定式化し、小規模世界的トポロジーを強制するカスタマイズされたリワイヤリングアルゴリズムを適用する。
• 定量的「小規模世界的性質」指標を用いて、規則的とランダム性のバランスを取った層間接続の再構築をガイドする。
• 非隣接層間にスパースで非局所的な畳み込み接続（S-CONV）を導入し、長距離の情報伝達を可能にする。
• 学習前にネットワークを再構成するため、勾配、損失関数、学習データに依存しない。
• 標準的な畳み込み層を維持しつつ、最適化されたスパースなスキップ接続を追加するトポロジー変換を採用する。
• 再訓練なしに、ResNet、DenseNet、AlexNet などのさまざまなアーキテクチャおよびCIFAR10、CIFAR100、ImageNet などのデータセットにこの変換を適用可能である。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークの接続パターンを小規模世界的トポロジーに再構成することで、学習収束速度を顕著に向上させることができるか？
• RQ2 小規模世界的性質を持つニューラルネットワークトポロジーは、標準的または密接接続アーキテクチャと比較して、勾配や特徴マップの流れを向上させるか？
• RQ3 DenseNet や ResNet と比較して、SWNet はどれほど多くのトレーニング可能パラメータを削減しつつ、分類精度を維持または向上させることができるか？
• RQ4 SWNet における長距離接続は、学習中の重み分布と層間依存関係にどのように影響を与えるか？
• RQ5 提案されたトポロジー変換は、さまざまなネットワークアーキテクチャやデータセットに普遍的に適用可能であり、性能の劣化を引き起こさないか？

主な発見

• CIFAR10、CIFAR100、ImageNet において、SWNetはベースライン順方向ネットワークと比較して平均2.1倍の高速な収束速度を達成する。
• ImageNet において、ResNet-18 と同等の性能を持つSWNetは、31.72% のテスト誤差に到達するまでに7,168イテレーションで完了するが、ベースラインは9,344イテレーションを要し、その時点で1.31倍の高速化を達成する。
• 3,456イテレーション時点で、SWNetのテスト誤差は56.76%であるのに対し、ベースラインのResNet-18は56.94%であり、収束が速いことが示された。
• SWNetはDenseNetと同等の性能を発揮しながら、10倍も少ないパラメータを用いることで、顕著なパラメータ効率性を示した。
• 学習済み重みの可視化により、初期層と深層部との間で強い層間依存関係が確認され、長距離接続の重要性が裏付けられた。
• 入力層は、すべての深層部に強く分散された接続を維持しており、初期特徴が後続段階に効果的に伝搬されていることが示された。