[論文レビュー] Neural Architecture Search for Lightweight Non-Local Networks

Yingwei Li, Xiaojie Jin+8 more|arXiv (Cornell University)|Apr 4, 2020

Advanced Neural Network Applications参考文献 50被引用数 4

ひとこと要約

本稿では、軽量なNon-Local（LightNL）ブロックを設計し、可微分ニューラルアーキテクチャサーチを用いてモバイルニューラルネットワーク内の配置と構成を最適化するAutoNLという手法を提案する。標準的なNon-Localブロックと比較して計算量を400倍削減し、エンドツーエンドの探索を可能にすることで、350M FLOPsでImageNetのトップ-1精度77.7%を達成。これはMobileNetV3、MnasNet、FBNetを下回るFLOPsとより速い探索（32 GPU時間）で達成された。

ABSTRACT

Non-Local (NL) blocks have been widely studied in various vision tasks. However, it has been rarely explored to embed the NL blocks in mobile neural networks, mainly due to the following challenges: 1) NL blocks generally have heavy computation cost which makes it difficult to be applied in applications where computational resources are limited, and 2) it is an open problem to discover an optimal configuration to embed NL blocks into mobile neural networks. We propose AutoNL to overcome the above two obstacles. Firstly, we propose a Lightweight Non-Local (LightNL) block by squeezing the transformation operations and incorporating compact features. With the novel design choices, the proposed LightNL block is 400x computationally cheaper} than its conventional counterpart without sacrificing the performance. Secondly, by relaxing the structure of the LightNL block to be differentiable during training, we propose an efficient neural architecture search algorithm to learn an optimal configuration of LightNL blocks in an end-to-end manner. Notably, using only 32 GPU hours, the searched AutoNL model achieves 77.7% top-1 accuracy on ImageNet under a typical mobile setting (350M FLOPs), significantly outperforming previous mobile models including MobileNetV2 (+5.7%), FBNet (+2.8%) and MnasNet (+2.1%). Code and models are available at https://github.com/LiYingwei/AutoNL.

研究の動機と目的

• モバイルビジョンシステムにおけるNon-Local（NL）ブロックの高い計算コストを軽減し、リソース制約のある環境での展開を可能にすること。
• モバイルネットワークにおけるNLブロックの最適な配置と構成を手動で選択する課題を克服すること。これは、高い複雑性のため、実行不可能である。
• パフォーマンスを維持しながらFLOPsを大幅に削減できる、探索に適した計算効率の良いNLブロックを設計すること。
• エンドツーエンドの方法で、LightNLブロックの配置、チャネルサンプリング、空間ストライドを同時に最適化できる可微分ニューラルアーキテクチャサーチアルゴリズムを開発すること。
• 最小限の探索コストとFLOP予算で、モバイル環境下でのImageNetで最先端のパフォーマンスを達成すること。

提案手法

• 重い演算（フル行列積や標準的な1×1畳み込み）を深度方向畳み込みと小規模でコンactな演算に置き換えることで、軽量なNon-Local（LightNL）ブロックを提案する。
• LightNLブロックの構造に対して可微分な緩和を導入し、チャネルサンプリングレート（25%または12.5%）や空間ストライド（1または2）といった離散的選択の勾配ベース最適化を可能にする。
• 1つの挿入ポイントあたり5つの候補構成（LightNLの有無、チャネルサンプリング、空間サンプリング）を含む可微分な探索空間を採用する。
• 交差エントロピーと計算コストの両方を組み合わせた多目的損失関数を用い、高い精度と低いFLOPsを同時に達成するように探索を誘導する。
• 1回のフォワードパスで複数の候補構成に対して中間の類似度行列を再利用することで、冗長な計算を削減し、探索プロセスを高速化する。
• MobileNetV2ブロックをベースアーキテクチャとして用い、ImageNet上でエンドツーエンドの探索を実施。深さ倍率、拡張比、SEモジュールの比を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 パフォーマンスを損なわずに、モバイルデバイスへの展開に十分な計算効率のNon-Localブロックを実現できるか？
• RQ2 モバイルニューラルネットワークにNon-Localブロックを挿入する際の最適な構成（配置、チャネルサンプリング、空間ストライド）は何か？
• RQ3 可微分ニューラルアーキテクチャサーチを、軽量なNon-Localブロックの構造と配置を同時に最適化するために効果的に適用できるか？
• RQ4 FLOP予算が同じ条件下で、LightNLブロックを搭載したNAS最適化モデルのパフォーマンスは、手作業で設計されたモバイルモデルや他のNASベースのモデルと比べてどうか？
• RQ5 モバイルビジョンタスクの高品質なモデル発見を維持しつつ、探索プロセスを高速化できるか？

主な発見

• 提案されたLightNLブロックは、標準的なNon-Localブロックと比較して計算量を400倍削減しながらも、パフォーマンスを維持しており、モバイルデバイスへの展開が可能である。
• AutoNL-Sは、わずか267M FLOPsでImageNetのトップ-1精度76.5%を達成。MobileNetV3（356M FLOPsで76.6%）よりも25%少ないFLOPsで優位な性能を示した。
• AutoNL-Lは353M FLOPsでトップ-1精度77.7%を達成。MobileNetV3を1.1%上回り、FBNetを2.8%上回ったが、FLOPコストはほぼ同等だった。
• EfficientNet-B0よりも10%少ないFLOPsで1.4%高いトップ-1精度を達成した。これは、優れた効率-精度トレードオフを示している。
• 探索プロセスはわずか32 GPU時間で完了した。これは、MixNetに要する91,000 GPU時間と比べて2,800倍速く、かつより高い精度を達成した。
• 極めて低いFLOP設定（例：192×192入力、0.5の深さ倍率）でも、AutoNL-Sはトップ-1精度69.6%を達成。これは、MobileNetV2より5.7%高く、FBNetより3.7%高い。