[論文レビュー] Rethinking Channel Dimensions for Efficient Model Design

Dongyoon Han, Sangdoo Yun+2 more|arXiv (Cornell University)|Jul 2, 2020

Advanced Neural Network Applications参考文献 81被引用数 13

ひとこと要約

本論文は、従来の段階的チャネル拡張に代わる、線形的でレイヤーインデックスに依存するチャネル設定を提案する。特徴のランクを分析し、FLOP制約下での探索を実施することで、著者らはこの単純な再パrameterizationがImageNetおよび転移学習タスクにおける精度を顕著に向上させることを示した。これは、パrameter数とFLOPsを少なくした状態で、NASベースやEfficientNetの変種を含む最先端モデルを上回る性能を発揮する。

ABSTRACT

Designing an efficient model within the limited computational cost is challenging. We argue the accuracy of a lightweight model has been further limited by the design convention: a stage-wise configuration of the channel dimensions, which looks like a piecewise linear function of the network stage. In this paper, we study an effective channel dimension configuration towards better performance than the convention. To this end, we empirically study how to design a single layer properly by analyzing the rank of the output feature. We then investigate the channel configuration of a model by searching network architectures concerning the channel configuration under the computational cost restriction. Based on the investigation, we propose a simple yet effective channel configuration that can be parameterized by the layer index. As a result, our proposed model following the channel parameterization achieves remarkable performance on ImageNet classification and transfer learning tasks including COCO object detection, COCO instance segmentation, and fine-grained classifications. Code and ImageNet pretrained models are available at https://github.com/clovaai/rexnet.

研究の動機と目的

• 従来の段階的チャネル設定が、軽量ネットワークにおけるモデル精度を制限しているかどうかを調査すること。
• 固定された計算コストのもとで、より効果的なチャネル設定を特定すること。
• 異なるモデルアーキテクチャーやタスクに一般化可能なパラメータ化されたチャネル設定を開発すること。
• 提案された設定がImageNetおよび下流の転移学習タスクにおいて有効であることを検証すること。

提案手法

• 著者らは、層の表現力の推定のため、出力特徴のランクを分析し、ランダムに生成されたネットワークからの平均ランクを用いて、チャネル拡張設計をガイドする。
• FLOP制約下でのネットワークアーキテクチャースキャンを実施し、ビルディングブロック探索ではなく、チャネル設定の最適化に焦点を当てる。
• 最適なチャネル設定は、ブロックインデックスの線形関数であることが判明し、これがネットワーク全体のパラメータ化に用いられる。
• 提案されたReXNetモデルは、この線形チャネルパラメータ化をMobileNetV2に適用することで、効率的かつ高精度なアーキテクチャ設計を実現する。
• アブレーションスタディ、ランク可視化、COCOおよび細分化データセットにおける転移学習を通じて、手法の有効性を検証する。
• 固定された深さとFLOP制約下で探索を繰り返すことで、異なる計算リソース環境下でも線形設定の堅牢性が確認された。

実験結果

リサーチクエスチョン

• RQ1 計算効率を確保しつつも、軽量モデルの精度が従来の段階的チャネル設定によって制限されているのか？
• RQ2 特徴ランク分析とアーキテクチャースキャンを通じて、より効果的なチャネル設定を発見できるか？
• RQ3 ブロックインデックスの線形関数は、区分定数または段階的設定よりも、チャネル次元のパラメータ化として優れているか？
• RQ4 特徴ランクで測定した場合、提案されたチャネル設定がモデル表現力にどのように影響するか？
• RQ5 得られたモデルは、ImageNetで最先端の性能を達成でき、オブジェクト検出や細分化分類などの下流タスクに転移可能か？

主な発見

• 線形チャネルパラメータ化を採用したReXNetは、ImageNetでトップ-1精度77.6%を達成し、EfficientNet-B0（77.3%）や他のNASベースのモデルを上回った。
• ReXNet（×1.0）は、パrameter数が1/5に抑えられても、Food-101、Stanford Cars、FGVC Aircraft、Oxford Flowers-102の微調整性能でResNet50を上回った。
• COCOインスタンスセグメンテーションでは、ReXNet（×0.9）がEfficientNet-B0よりマスクAPで+0.6pp、ボックスAPで+0.5pp向上し、パrameter数とFLOPsを少なくした。
• ReXNet（×2.2）は、計算複雑性を低減しながら、ResNet50よりマスクAPで+3.2pp、ボックスAPで+3.5pp向上した。
• ランク可視化により、ReXNetはMobileNetV2よりも高い核ノルムとより大きな特異値を示しており、より高いモデル表現力を示していることが確認された。
• 固定された深さとFLOP制約下でのアーキテクチャースキャンでは、常に線形チャネル設定が最良のパフォーマンスを示し、本手法の堅牢性が裏付けられた。