[論文レビュー] Sparsely Aggregated Convolutional Networks

Ligeng Zhu, Ruizhi Deng+4 more|arXiv (Cornell University)|Jan 18, 2018

Advanced Neural Network Applications参考文献 44被引用数 6

ひとこと要約

この論文では、スパースに集約されたスキップ接続——以前の層の対数的サブセットにのみ選択的に接続する——を用いる、新しい畳み込みニューラルネットワークアーキテクチャであるSparseNetを提案する。全層への接続ではなく、一部の層にのみ接続することで、集約の複雑さを線形から対数的成長に削減し、ResNet や DenseNet よりも少ないパラメータと FLOPs で優れた精度を達成し、1000層以上の非常に深いネットワークでも性能劣化が生じない強力なスケーラビリティを実現する。

ABSTRACT

We explore a key architectural aspect of deep convolutional neural networks: the pattern of internal skip connections used to aggregate outputs of earlier layers for consumption by deeper layers. Such aggregation is critical to facilitate training of very deep networks in an end-to-end manner. This is a primary reason for the widespread adoption of residual networks, which aggregate outputs via cumulative summation. While subsequent works investigate alternative aggregation operations (e.g. concatenation), we focus on an orthogonal question: which outputs to aggregate at a particular point in the network. We propose a new internal connection structure which aggregates only a sparse set of previous outputs at any given depth. Our experiments demonstrate this simple design change offers superior performance with fewer parameters and lower computational requirements. Moreover, we show that sparse aggregation allows networks to scale more robustly to 1000+ layers, thereby opening future avenues for training long-running visual processes.

研究の動機と目的

• ResNet や DenseNet といった現代のCNNで見られる、すべての以前の層に接続する密な集約の非効率性——パラメータと計算量の無駄——を是正すること。
• 内部集約におけるスキップ接続の数を減らすことで、性能を損なわずにモデルの効率性を向上させられるかどうかを調査すること。
• パラメータ効率的で、精度を維持または向上させつつ、極めて深いネットワーク（例：1000層以上）の学習を可能にするスケーラブルなアーキテクチャを設計すること。
• 集約トポロジーが、ResNet と DenseNet の間の他の設計的差異とは独立した根本的なアーキテクチャ的選択であることを示すこと。

提案手法

• DenseNet や ResNet の完全な集約を、各層が以前の層の対数的サイズのサブセットにのみ接続するスパースな集約トポロジーに置き換える。
• 階層的で木構造的な構造を用いて、どの以前の層が各後続層に寄与するかを決定し、長距離の特徴再利用を保証する。
• 入力接続数に対数的スケーリング則を適用し、ネットワークの深さ n に対してパラメータと FLOPs の成長を O(n) から O(log n) に削減する。
• アーキテクチャ的変更は集約パターン以外に一切加えないで、標準的な最適化（重み減衰付きSGD）でモデルを学習する。
• CIFAR-10/100 および ImageNet ベンチマークで、パラメータ効率、FLOPs、精度の観点から、アブレーションスタディを実施する。
• ヒートマップを用いて学習済み接続重みを可視化し、特徴再利用のパターンを分析し、SparseNet がほとんどすべてのパラメータを効果的に活用していることを確認する。

実験結果

リサーチクエスチョン

• RQ1 内部集約におけるスキップ接続の数を減らすことで、性能を損なわずにモデルの効率性を向上させられるか？
• RQ2 集約複雑度を対数的スケーリングすることで、非常に深いネットワーク（例：1000層以上）においてもスケーラビリティが向上するか？
• RQ3 特徴再利用とパラメータ効率の観点から、スパース集約は完全な集約と比べてどのように異なるか？
• RQ4 スパース集約パターンは、DenseNet風のアーキテクチャに限らず、ResNet風のアーキテクチャに対しても有効であるか？

主な発見

• SparseNet は、ResNet や DenseNet よりもはるかに少ないパラメータと FLOPs を用いて、CIFAR-10 および ImageNet で最先端の精度を達成した。
• より小さな SparseNet モデルは、最高性能の DenseNet と同等の精度を達成しながら、30〜50％も少ないパラメータと FLOPs を使用した。
• SparseNet は1000層以上の深さにまで強くスケーリング可能であり、性能が低下しない。一方、DenseNet はこのような深さに達すると性能が頭打ちまたは低下した。
• ヒートマップ分析により、SparseNet はほぼすべてのパラメータを効果的に活用しており、多くの接続が強く活性化されていることが示され、冗長性はほとんどないことが確認された。
• スパース集約パターンにより、遠く離れた層間でも一貫して高い重みを持つ接続が存在し、長距離特徴の有効な利用が可能であることが裏付けられた。
• TensorFlow 実装における小さなバグを是正したところ、SparseNet が DenseNet よりも顕著な効率的優位性を示していることが判明し、これは意図しない正則化によるものではないことが明らかになった。