[論文レビュー] Dual Path Networks

Yunpeng Chen, Jianan Li+4 more|arXiv (Cornell University)|Jul 6, 2017

Infrastructure Maintenance and Monitoring被引用数 209

ひとこと要約

本論文は、ResNetの特徴再利用とDenseNetの特徴探索を二重残差パスを介して統合する新しいCNNアーキテクチャ、Dual Path Networks (DPN) を提案する。特徴を共有しながら、二つの異なるパスで独立した学習を可能にすることで、ResNeXt-101(64x4d)と比較して26%小さいモデルサイズ、25%少ないFLOPs、8%低いメモリ使用量で、ImageNet-1k、Places365、PASCAL VOCで最先端の精度を達成するとともに、2倍速い学習速度を実現した。

ABSTRACT

In this work, we present a simple, highly efficient and modularized Dual Path Network (DPN) for image classification which presents a new topology of connection paths internally. By revealing the equivalence of the state-of-the-art Residual Network (ResNet) and Densely Convolutional Network (DenseNet) within the HORNN framework, we find that ResNet enables feature re-usage while DenseNet enables new features exploration which are both important for learning good representations. To enjoy the benefits from both path topologies, our proposed Dual Path Network shares common features while maintaining the flexibility to explore new features through dual path architectures. Extensive experiments on three benchmark datasets, ImagNet-1k, Places365 and PASCAL VOC, clearly demonstrate superior performance of the proposed DPN over state-of-the-arts. In particular, on the ImagNet-1k dataset, a shallow DPN surpasses the best ResNeXt-101(64x4d) with 26% smaller model size, 25% less computational cost and 8% lower memory consumption, and a deeper DPN (DPN-131) further pushes the state-of-the-art single model performance with about 2 times faster training speed. Experiments on the Places365 large-scale scene dataset, PASCAL VOC detection dataset, and PASCAL VOC segmentation dataset also demonstrate its consistently better performance than DenseNet, ResNet and the latest ResNeXt model over various applications.

研究の動機と目的

• 既存の深層ネットワークの限界を克服するため、1つのアーキテクチャ内でResNetとDenseNetの長所を統合すること。
• 新規な二重パストポロジーを用いて、特徴再利用と新規特徴探索を同時に実現すること。
• 計算コストとメモリコストを削減しながら、画像分類ベンチマークでの精度を維持または向上させること。
• ImageNet-1k、Places365、PASCAL VOCで最先端のパフォーマンスを達成するとともに、学習効率を向上させること。

提案手法

• 特徴再利用（ResNetに類似）のパスと特徴探索（DenseNetに類似）のパスの2つの別々の特徴パスを維持する、二重パス残差ブロックを提案する。
• 両パス間での特徴共有を可能にするとともに勾配の流れを保持する、新規なアイデンティティマッピング機構を導入する。
• 両パスからの特徴を連結し、共有ボトルネックモジュールで処理する階層的特徴統合戦略を採用する。
• 二重パスブロックを容易にスタック可能にすることで、深層ネットワーク（例：DPN-131）を構築できるモジュラーアーキテクチャを設計する。
• HORNNフレームワークを用いて、ResNetとDenseNetの等価性を形式的に確立し、二重パス設計の正当性を裏付ける。
• 冗長な計算とメモリアクセスを最小限に抑えることで、推論効率を最適化する。

実験結果

リサーチクエスチョン

• RQ1 統合アーキテクチャとして、特徴再利用（ResNet）と特徴探索（DenseNet）の利点を効果的に統合できるか、表現学習の向上に寄与するか？
• RQ2 単一パスアーキテクチャと比較して、二重パス設計は精度、パラメータ効率、学習速度の面でどのように優れているか？
• RQ3 二重パス機構は、大規模ベンチマークでの性能を損なわずに、モデルサイズとFLOPsをどの程度削減できるか？
• RQ4 提案されたDPNは、画像分類、シーン認識、オブジェクト検出、セマンティックセグメンテーションなど、多様なビジョンタスクに十分に一般化できるか？

主な発見

• ImageNet-1kでは、浅いDPNがResNeXt-101(64x4d)よりも高いトップ-1精度を達成し、モデルサイズは26%小さく、FLOPsは25%少ない。
• より深いDPN-131モデルは、ImageNet-1kで単一モデルとしての最先端パフォーマンスを更新し、ResNeXt-101の2倍速い学習速度を達成した。
• Places365データセットでは、DenseNet、ResNet、ResNeXtを上回るシーン認識精度を達成しながら、計算コストは低く抑えられた。
• PASCAL VOCの検出およびセグメンテーションタスクでは、DPNはResNet、DenseNet、最新のResNeXtモデルを常に上回るパフォーマンスを示した。
• ResNeXt-101(64x4d)と比較して、DPNアーキテクチャは8%のメモリ消費量削減を実現しながらも、より高い精度を維持した。
• 二重パス設計により、勾配の流れが改善され、特徴マップの冗長性が低減された、効率的な特徴学習が可能になった。