[論文レビュー] Rethinking Bottleneck Structure for Efficient Mobile Network Design

Daquan Zhou, Qibin Hou+3 more|arXiv (Cornell University)|Jul 5, 2020

COVID-19 diagnosis using AI参考文献 43被引用数 14

ひとこと要約

本論文は、高次元特徴空間における深度方向畳み込みと、高次元表現間のショートカット接続を用いることで、効率的なモバイルネットワーク向けにボトルネック構造を再考した新規な砂時計ブロックアーキテクチャを提案する。この手法は、350万パラメータと3億FLOPsでImageNetにおいて74.02%のトップ1精度を達成し、バリエーションやMobileNetV2を1.7ポイント以上上回りながらも、効率性を維持している。

ABSTRACT

The inverted residual block is dominating architecture design for mobile networks recently. It changes the classic residual bottleneck by introducing two design rules: learning inverted residuals and using linear bottlenecks. In this paper, we rethink the necessity of such design changes and find it may bring risks of information loss and gradient confusion. We thus propose to flip the structure and present a novel bottleneck design, called the sandglass block, that performs identity mapping and spatial transformation at higher dimensions and thus alleviates information loss and gradient confusion effectively. Extensive experiments demonstrate that, different from the common belief, such bottleneck structure is more beneficial than the inverted ones for mobile networks. In ImageNet classification, by simply replacing the inverted residual block with our sandglass block without increasing parameters and computation, the classification accuracy can be improved by more than 1.7% over MobileNetV2. On Pascal VOC 2007 test set, we observe that there is also 0.9% mAP improvement in object detection. We further verify the effectiveness of the sandglass block by adding it into the search space of neural architecture search method DARTS. With 25% parameter reduction, the classification accuracy is improved by 0.13% over previous DARTS models. Code can be found at: https://github.com/zhoudaquan/rethinking_bottleneck_design.

研究の動機と目的

• 低次元特徴空間で深度方向畳み込みを適用するボトルネック構造がもたらすモバイルネットワークの性能低下を是正すること。
• 深度方向畳み込みをより高次元の表現に再配置することで、特徴学習とモデル精度が向上するかどうかを調査すること。
• 標準的な残差接続と比較して、高次元特徴間のショートカット接続が性能に与える影響を評価すること。
• 提案された砂時計ブロックが、逆転残差ブロックや標準ボトルネックと比較して、モバイル環境下で優れた性能を発揮できることを実証すること。

提案手法

• 通常のボトルネック順序を逆転させた砂時計ブロックを提案：次元削減の前に高次元特徴空間で深度方向畳み込みを適用する。
• 空間的およびチャネルワイドな情報を保持するために、深度方向畳み込みの前後に2つのポイントワイド畳み込みを用いる。
• 勾配の流れと特徴の整合性を維持するため、高次元表現間のショートカット接続を導入する。
• 深度方向畳み込みを低次元ではなく高次元ボトルネックに配置した、変更された残差ブロック構造を採用する。
• 異なる畳み込み配置とショートカット構成を用いたバリエーションをImageNet上でアブレーションスタディにより検証する。
• DARTSを用いたニューラルアーキテクチャサーチ（NAS）に砂時計ブロックを統合し、汎化性能と性能向上を評価する。

実験結果

リサーチクエスチョン

• RQ1 低次元空間に比べ、高次元特徴空間に深度方向畳み込みを配置することで、モバイルネットワークのボトルネック性能が向上するか？
• RQ2 ショートカット接続の配置（高次元または低次元特徴間）が、モデル精度と特徴表現に与える影響は何か？
• RQ3 再設計されたボトルネックブロックが、モバイルネットワークの効率性と精度において、標準的な逆転残差ブロックを上回ることができるか？
• RQ4 砂時計ブロックをニューラルアーキテクチャサーチの探索空間に組み込むことで、最終的なアーキテクチャの性能とパラメータ効率がどの程度向上するか？

主な発見

• 提案された砂時計ブロックは、ImageNetで74.02%のトップ1精度を達成し、ベースラインのMobileNetV2（72.3%）およびすべてのバリエーションを顕著に上回った。
• 低次元空間に深度方向畳み込みを配置したバリエーション（図S1(a)）は、精度が68.90%に低下し、高次元特徴学習の重要性を裏付けた。
• ボトルネック内に2番目の深度方向畳み込みを追加したバリエーション（図S1(b)）は、精度が70.11%に向上したが、依然として砂時計ブロックに劣った。
• 深度方向畳み込みをボトルネックに移動させたバリエーション（図S1(c)）は、類似したパラメータ数と高いFLOPsを有しながらも、精度は69.26%にとどまり、高次元ショートカットの利点が顕著に示された。
• DARTSベースのNASに統合した場合、テスト誤差はCIFAR-10で2.98%に低下し、パラメータ数はわずか245万で、元のDARTSおよび逆転残差バリエーションを上回った。
• アブレーションスタディにより、2つの主要な設計原則（高次元ショートカットと高次元深度方向畳み込み）が、性能向上を共同で駆動していることが確認された。