[論文レビュー] Sparsely Connected Convolutional Networks.

Ligeng Zhu, Ruizhi Deng+3 more|arXiv (Cornell University)|Jan 18, 2018

Advanced Neural Network Applications参考文献 10被引用数 7

ひとこと要約

この論文では、DenseNetsの密集したスキップ接続を置き換え、特徴抽出の効率を向上させるスパースに接続された学習可能な接続を備えた、新しい畳み込みニューラルネットワークアーキテクチャ「SparseNets」を提案する。ResNetsとDenseNetsにおける特徴抽出の統一的な枠組みを用いて分析することで、著者らは最適化されたスパースな特徴融合により、パラメータ数を減らし、メモリ使用量を削減しつつ、優れた性能を達成できることを示している。

ABSTRACT

Residual learning with skip connections permits training ultra-deep neural networks and obtains superb performance. Building in this direction, DenseNets proposed a dense connection structure where each layer is directly connected to all of its predecessors. The densely connected structure leads to better information flow and feature reuse. However, the overly dense skip connections also bring about the problems of potential risk of overfitting, parameter redundancy and large memory consumption. In this work, we analyze the feature aggregation patterns of ResNets and DenseNets under a uniform aggregation view framework. We show that both structures densely gather features from previous layers in the network but combine them in their respective ways: summation (ResNets) or concatenation (DenseNets). We compare the strengths and drawbacks of these two aggregation methods and analyze their potential effects on the networks' performance. Based on our analysis, we propose a new structure named SparseNets which achieves better performance with fewer parameters than DenseNets and ResNets.

研究の動機と目的

• DenseNets や ResNets における密集したスキップ接続の限界、特にパラメータの冗長性と高いメモリ消費量を解消すること。
• 統一的な集約視点フレームワークの下で、ResNets と DenseNets における特徴抽出のパターンを分析すること。
• 性能と効率の観点から、和集合（ResNets）と連結（DenseNets）の特徴結合手法のトレードオフを特定すること。
• スパースで学習可能な接続を活用して、より少ないパラメータで優れた性能を達成する新しいネットワーク構造を設計すること。
• スパースな特徴集約が、精度とパラメータ効率の両面で密集した集約を上回ることを実証すること。

提案手法

• 統一的なフレームワークの下で、ResNets と DenseNets の特徴集約を形式化し、それぞれが異なる集約戦略（和集合と連結）として扱う。
• 各層が以前の層の一部にのみスパースかつ学習可能な接続を持つ新しいアーキテクチャ「SparseNets」を提案する。
• 以前の層からの関連する特徴マップを動的に選択する学習可能なスパース性メカニズムを導入する。
• DenseNets よりもパラメータ数とメモリフットプリントを削減しながら、強力な情報伝達を維持するネットワークを設計する。
• エンド・トゥ・エンドの最適化により、バックプロパゲーション中にスパースネスパターンが学習可能であるようにする。
• 各層の接続数を制御する構造的スパース制約を導入し、表現力と効率のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 ResNets（和集合）とDenseNets（連結）における特徴集約メカニズムは、情報伝達とモデル効率の観点でどのように比較されるか？
• RQ2 スパースに接続されたアーキテクチャは、パラメータ数とメモリ使用量を削減しながら、DenseNets と同等またはそれ以上の性能を達成できるか？
• RQ3 学習可能なスパース接続が特徴の再利用とモデルの汎化性能に与える影響は何か？
• RQ4 提案されたSparseNetアーキテクチャは、訓練の安定性と収束性において、ResNets や DenseNets と比べてどのように異なるか？
• RQ5 統一的な集約フレームワークは、より効率的な深層ネットワークアーキテクチャの設計を効果的に説明・指針づけることができるか？

主な発見

• 分析の結果、ResNets も DenseNets も特徴集約を密集して行っているが、それぞれ異なる操作（和集合と連結）を用いていることが明らかになった。
• DenseNets は、すべての以前の特徴を連結するため、特徴再利用が向上しているものの、パラメータの冗長性と高いメモリ消費量に苦しんでいる。
• SparseNets は、ベンチマークデータセット上で、パラメータ数を著しく減らしながら、ResNets や DenseNets よりも優れた性能を達成した。
• 提案されたスパース接続メカニズムにより、効率的な特徴融合が可能になり、強力な情報伝達が維持され、過学習のリスクも低減された。
• 実験的結果から、SparseNets は精度対パラメータ比において DenseNets を上回り、モデル効率の向上が示された。
• 学習可能なスパース性メカニズムにより、ネットワークは関連する特徴を自動的に選択し、よりコンactかつ効果的な表現が得られた。