[論文レビュー] Log-DenseNet: How to Sparsify a DenseNet

Hanzhang Hu, Debadeepta Dey+3 more|arXiv (Cornell University)|Oct 30, 2017

Advanced Neural Network Applications参考文献 18被引用数 28

ひとこと要約

Log-DenseNet は、DenseNet のスパarsified版を提案し、スキップ接続を戦略的に配置することで、計算複雑度を O(L²) から O(L log L) に低減し、バックプロパゲーション距離を短く（1 + log₂L）維持することで、セマンティックセグメンテーションにおいて優れた性能を発揮するとともに、パrameter数を減らし、標準DenseNetよりもスケーラブルな画像認識タスクでも競争力のある結果を達成した。

ABSTRACT

Skip connections are increasingly utilized by deep neural networks to improve accuracy and cost-efficiency. In particular, the recent DenseNet is efficient in computation and parameters, and achieves state-of-the-art predictions by directly connecting each feature layer to all previous ones. However, DenseNet's extreme connectivity pattern may hinder its scalability to high depths, and in applications like fully convolutional networks, full DenseNet connections are prohibitively expensive. This work first experimentally shows that one key advantage of skip connections is to have short distances among feature layers during backpropagation. Specifically, using a fixed number of skip connections, the connection patterns with shorter backpropagation distance among layers have more accurate predictions. Following this insight, we propose a connection template, Log-DenseNet, which, in comparison to DenseNet, only slightly increases the backpropagation distances among layers from 1 to ($1 + \log_2 L$), but uses only $L\log_2 L$ total connections instead of $O(L^2)$. Hence, Log-DenseNets are easier than DenseNets to implement and to scale. We demonstrate the effectiveness of our design principle by showing better performance than DenseNets on tabula rasa semantic segmentation, and competitive results on visual recognition.

研究の動機と目的

• DenseNet がすべての層を完全に接続するスキップ接続により O(L²) の計算複雑度を負っているため、そのスケーラビリティの制限を解消すること。
• 各層のスキップ接続数を固定した状態で、特徴層間のバックプロパゲーション距離を最小化することでモデル性能が向上するかを調査すること。
• 深層ネットワーク、特に完全畳み込み設定において、高い精度を維持しながらパrameter数と FLOP 数を削減するより効率的なネットワークアーキテクチャを設計すること。
• 特別なGPUメモリ管理やアーキテクチャの変更を必要とせずに、より深いネットワークの学習を可能にすること。

提案手法

• 各層が以前の層を対数的階層に基づいて接続する、Log-DenseNet と呼ばれる接続テンプレートを提案し、全接続数を O(L²) から O(L log L) に削減する。
• 二分木にインspiredした接続パターンを採用し、任意の二層間の最大バックプロパゲーション距離を 1 + log₂L に保証する。これはDenseNetの1にわずかに増加する。
• ブロック単位のグループ化と圧縮を用いて、ネットワークの初期段階でチャネル次元を低減し、学習の安定性と効率性を向上させる。
• 2つのバリエーションを設計：Log-DenseNet V1 は一様な対数的距離パターンを採用し、V2 はブロックレベルの接続を最適化してより短い距離を維持する。
• 追加の可学習パラメータを含まず、標準的な畳み込み層とスキップ接続のみを用いてアーキテクチャを実装する。
• 複数のデータセットを用いたアブレーションスタディを通じて、バックプロパゲーション距離、接続のスパarsity、性能の比較を実施し、設計の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 各層のスキップ接続数を制限した場合、特徴層間の最大バックプロパゲーション距離（MBD）を最小化することで、モデルの精度が向上するか？
• RQ2 O(L log L) の接続スパarsityを持つパターンが、DenseNet の O(L²) 接続と同等の性能を維持できるか？
• RQ3 Log-DenseNet は、セマンティックセグメンテーションで使用されるような、深さの高い完全畳み込みネットワークのスケーラビリティをどの程度向上させるか？
• RQ4 標準ベンチマークにおいて、Log-DenseNet はDenseNet やResNet と比べて、精度、FLOPs、パラメータ数の観点でどの程度優れているか？

主な発見

• Log-DenseNet V2 は、ILSVRC2012 分類タスクでDenseNet と同等のトップ-1誤差率を達成し、FLOP 使用量もほぼ同等でありながら、顕著にパラメータ数を削減した。
• CamVid におけるタブラ・ラサセマンティックセグメンテーションでは、Log-DenseNet はDenseNet を上回る性能を発揮したが、パラメータ数は半分で、FLOP 数はほぼ同等だった。
• Log-DenseNet の最大バックプロパゲーション距離は、DenseNet の1に対して対数的に増加（1 + log₂L）するが、このわずかな増加により性能劣化は最小限に抑えられた。
• Log-DenseNet V1 は、V2 やDenseNet よりもわずかに性能が劣り、特に深層ネットワークでは平均MBDが高いため、最適な接続配置の重要性が裏付けられた。
• Log-DenseNet のナイーブな実装は、11GB GPUメモリで100層を超える深さにまでスケーリング可能であるのに対し、DenseNet (52, 24) は同条件でメモリに収まらなかった。
• CIFAR100 では、Log-DenseNet V2 が同じFLOPレベルでDenseNet と同等の精度を達成し、接続を戦略的に配置することでスパarsityが性能を損なわないことを示した。