[論文レビュー] Exploring Feature Reuse in DenseNet Architectures

Andy Hess|arXiv (Cornell University)|Jun 5, 2018

Advanced Neural Network Applications参考文献 5被引用数 3

ひとこと要約

この論文では、WinDenseNetを提案する。これは、各層の接続性を直前のN層に限定する（局所的密接続）ことで、パラメータ数と学習時間を削減し、より効率的な特徴再利用により精度を向上させるDenseNetの変種である。主な発見は、固定された容量下で、低い接続性と高い成長率を組み合わせた構成が、完全なDenseNetを上回ることである。特に、より深いブロックにおいて顕著である。

ABSTRACT

Densely Connected Convolutional Networks (DenseNets) have been shown to achieve state-of-the-art results on image classification tasks while using fewer parameters and computation than competing methods. Since each layer in this architecture has full access to the feature maps of all previous layers, the network is freed from the burden of having to relearn previously useful features, thus alleviating issues with vanishing gradients. In this work we explore the question: To what extent is it necessary to connect to all previous layers in order to reap the benefits of feature reuse? To this end, we introduce the notion of local dense connectivity and present evidence that less connectivity, allowing for increased growth rate at a fixed network capacity, can achieve a more efficient reuse of features and lead to higher accuracy in dense architectures.

研究の動機と目的

• 完全な密接続がDenseNetsの性能向上に不可欠かどうかを調査すること。
• 深層ネットワークにおける接続範囲と表現能力（成長率）のトレードオフを調査すること。
• 局所的密接続が完全なDenseNetよりも高いパラメータ効率と高い精度を達成できるかどうかを特定すること。
• 異なる接続窓サイズにおける特徴再利用のパターンの違いを分析すること。
• 深層ネットワークにおいて、すべての過去の特徴が再利用に同等に有用であるわけではないという証拠を提供すること。

提案手法

• 各層が直前のN層にのみ接続する新しいアーキテクチャであるWinDenseNet-Nを導入する。これにより、接続性が『密な窓』を形成する。
• ネットワークは窓サイズNでパrameter化され、N = L+1の場合はL層からなるブロックにおいて完全なDenseNetに等価である。
• バッチ正規化、ReLU、3x3畳み込み、ダウンサンプリングのためのプーリングを伴うトランジション層といった、標準的なDenseNetのコンponentsを維持する。
• オリジナルのDenseNet-40と同一のハイパーパrameter（SGD、バッチサイズ64、モーメンタム0.9、重み減衰1e-4、ドロップアウト80%）でモデルを学習する。
• 異なる窓サイズにおける、過去の層からの特徴マップの正規化された依存スコアを計算することで、特徴再利用を可視化する。
• 接続性が特徴の活用に与える影響を評価するために、密なブロック全体を通してフィルタ強度と再利用パターンを分析する。

実験結果

リサーチクエスチョン

• RQ1 DenseNetsにおける完全な密接続は、高い性能を達成するために必要なのか？
• RQ2 過去の層への接続性を局所的な窓に制限することで、パラメータ効率と精度を向上させられるか？
• RQ3 密接続窓サイズの選択が、異なる密なブロックにおける特徴再利用パターンにどのように影響するか？
• RQ4 固定されたモデル容量下で、限られた接続性と高い成長率を組み合わせたネットワークが、完全な接続性と低い成長率を組み合わせたものよりも優れているか？
• RQ5 局所的接続を持つ密なネットワークにおいて、初期の特徴マップと後続の特徴マップのどちらがより効果的に再利用されるか？

主な発見

• 窓サイズが5のWinDenseNetは、CIFAR-10で94.9%のトップ1精度を達成し、同じパラメータ数のDenseNet-40（94.8%）を上回った。
• 完全な接続性（N=13）から小さな値（例：N=5）に接続性を制限することで、パラメータ数と学習時間が顕著に削減され、精度の低下は最小限に抑えられた。
• 小さな密な窓サイズ（例：N=2）を持つネットワークは、特に初期の密なブロックにおいて、最も初期の利用可能な特徴マップの再利用を強く好む傾向を示した。
• 窓サイズが大きくなるにつれて、特徴再利用は近隣の層にシフトし、より深いブロック（例：ブロック3）では遠くの特徴の再利用が減少した。
• 窓サイズが大きくなると、ブロック全体での平均フィルタ強度が低下し、深い層では長距離の特徴再利用への依存が減少することが示唆された。
• 結果から、パラメータ容量を完全な接続性ではなく、成長率の向上に割り当てることで、より効果的なパラメータ利用が可能になることが示唆された。