[論文レビュー] ReXNet: Diminishing Representational Bottleneck on Convolutional Neural Network.

Dongyoon Han, Sangdoo Yun+2 more|arXiv (Cornell University)|Jul 2, 2020

Advanced Neural Network Applications参考文献 41被引用数 27

ひとこと要約

本稿では、特徴行列のランクを分析し、チャネル構成を最適化することで、畳み込みニューラルネットワークにおける表現的ボトルネックを軽減するための設計原則ReXNetを提案する。これらの原則をベースラインネットワークに適用することで、ImageNet、COCO検出、および転移学習ベンチマークで顕著な精度向上を達成した。コードとモデルは公開されている。

ABSTRACT

This paper addresses representational bottleneck in a network and propose a set of design principles that improves model performance significantly. We argue that a representational bottleneck may happen in a network designed by a conventional design and results in degrading the model performance. To investigate the representational bottleneck, we study the matrix rank of the features generated by ten thousand random networks. We further study the entire layer's channel configuration towards designing more accurate network architectures. Based on the investigation, we propose simple yet effective design principles to mitigate the representational bottleneck. Slight changes on baseline networks by following the principle leads to achieving remarkable performance improvements on ImageNet classification. Additionally, COCO object detection results and transfer learning results on several datasets provide other backups of the link between diminishing representational bottleneck of a network and improving performance. Code and pretrained models are available at this https URL.

研究の動機と目的

• 深層ネットワークにおける性能低下の根本的原因を特定すること。
• 特徴行列のランクがネットワークの表現能力に与える影響を分析すること。
• 表現的ボトルネックを軽減する最適なチャネル構成を同定すること。
• アーキテクチャの複雑さを増さずにモデルの精度を向上させるシンプルで効果的な設計原則を開発すること。
• 提案された原則がImageNet分類、COCO検出、および転移学習を含む複数のベンチマークで妥当であることを検証すること。

提案手法

• 著者らは、10,000個のランダムに初期化されたネットワークから得た特徴の行列ランクを分析し、表現能力を調査した。
• 層ごとのチャネル構成がネットワーク性能および表現品質に与える影響を調査した。
• 実験的分析に基づき、バランスの取れた十分なチャネル次元を優先することでボトルネックを低減する設計原則を導出した。
• これらの原則を最小限のアーキテクチャ的変更でベースラインネットワークに適用し、主にチャネルスケーリングとレイヤー構成の最適化に焦点を当てた。
• 分類タスクのImageNet、検出タスクのCOCO、および転移学習の複数のデータセットで性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 標準的な畳み込みニューラルネットワークにおける表現的ボトルネックの原因は何ですか？
• RQ2 特徴マップの行列ランクはネットワーク性能にどのように関係していますか？
• RQ3 畳み込み層におけるどのチャネル構成が表現的ボトルネックを最も効果的に軽減しますか？
• RQ4 表現能力の分析に基づくシンプルなアーキテクチャ調整は、モデルの精度を顕著に向上させることができますか？
• RQ5 表現的ボトルネックの低減は、多様なビジョンタスクにおいて一貫した性能向上をもたらしますか？

主な発見

• 10,000個のランダムネットワークからの特徴の行列ランク分析により、表現的ボトルネックが性能低下の主な要因であることが明らかになった。
• 表現能力に基づいたチャネル構成の最適化により、モデルの複雑さを増さずにImageNetでの精度が顕著に向上した。
• 提案された設計原則は、COCOオブジェクト検出においても顕著な向上を示し、分類を超えた一般化性を確認した。
• 複数のデータセットにおける転移学習の結果から、表現的ボトルネックの低減が特徴の転送可能性を向上させることを確認した。
• ベースラインネットワークに対して原則に従ったわずかな修正を加えるだけで、パrameterの増加を最小限に抑えながらImageNetでSOTA性能を達成した。
• コードと事前学習済みモデルは公開されており、再現性とさらなる研究を可能にしている。