[論文レビュー] Efficient Differentiable Neural Architecture Search with Meta Kernels

Shoufa Chen, Yunpeng Chen+2 more|arXiv (Cornell University)|Dec 10, 2019

Advanced Neural Network Applications参考文献 51被引用数 14

ひとこと要約

この論文は、特徴マップの代わりに畳み込みカーネルそのものを直接符号化することで、新しい微分可能ニューラルアーキテクチャサーチ手法を提案する。メタカーネルを用いて複数のカーネル候補を1つの有効なカーネルに統合する。特徴マップではなくカーネル上で処理することで、メモリと計算コストを桁違いに削減し、カーネルサイズの細分化された探索を可能にした。357M FLOPsの制約下でImageNetのトップ-1精度が77.0%に達し、同じ制約下でEfficientNetやMobileNetV3を上回り、最先端のNAS手法と比べて3桁の速度向上を達成した。

ABSTRACT

The searching procedure of neural architecture search (NAS) is notoriously time consuming and cost prohibitive.To make the search space continuous, most existing gradient-based NAS methods relax the categorical choice of a particular operation to a softmax over all possible operations and calculate the weighted sum of multiple features, resulting in a large memory requirement and a huge computation burden. In this work, we propose an efficient and novel search strategy with meta kernels. We directly encode the supernet from the perspective on convolution kernels and "shrink" multiple convolution kernel candidates into a single one before these candidates operate on the input feature. In this way, only a single feature is generated between two intermediate nodes. The memory for storing intermediate features and the resource budget for conducting convolution operations are both reduced remarkably. Despite high efficiency, our search strategy can search in a more fine-grained way than existing works and increases the capacity for representing possible networks. We demonstrate the effectiveness of our search strategy by conducting extensive experiments. Specifically, our method achieves 77.0% top-1 accuracy on ImageNet benchmark dataset with merely 357M FLOPs, outperforming both EfficientNet and MobileNetV3 under the same FLOPs constraints. Compared to models discovered by the start-of-the-art NAS method, our method achieves the same (sometimes even better) performance, while faster by three orders of magnitude.

研究の動機と目的

• 探索中に複数の特徴マップを集約する従来の勾配ベースNAS手法の高い計算コストとメモリ使用量を解消すること。
• モデル性能を損なわず、微分可能NASの探索時間とリソース消費を低減すること。
• 特徴マップの代わりに畳み込みカーネルのパラメータを直接最適化することで、細分化されたアーキテクチャ探索を可能にすること。
• 1つの畳み込み層内で複数スケールのカーネルサイズを統合し、受容 field と表現力の向上を図ること。
• 深度分離畳み込み、アトラス畳み込み、非対称畳み込みなどの既存のアーキテクチャや演算と互換性を持つ方法を開発すること。

提案手法

• 入力特徴に適用する前に、畳み込みカーネルの重み付き和を計算するカーネルレベルのスーパーネット定式化を提案する。これにより、畳み込み後に特徴マップを和算するのではなく、カーネルの段階で処理を行う。
• 畳み込みの加法性の性質を活用する：互換性のあるサイズの複数のカーネルを1つの同等のカーネルに合算可能であり、計算量とメモリ使用量を削減できる。
• 異なるサイズのカーネルを処理するために、無効な領域をマスクする確率的カーネルマスクを導入し、形状が異なるカーネルを直接加算可能にする。
• 複数の候補カーネル（例：3×3、5×5、7×7）を1つの学習可能なカーネルに統合するメタカーネルを設計し、カーネル構成のエンドツーエンド微分可能探索を可能にする。
• アーキテクチャパラメータを特徴マップではなくカーネルレベルで勾配降下法により最適化する微分可能探索パイプラインを適用する。
• 深度分離畳み込み、アトラス畳み込み、非対称畳み込みなどの標準的な演算と互換性を持つように、同じカーネルレベル統合の原則を適用する。

実験結果

リサーチクエスチョン

• RQ1 特徴マップから畳み込みカーネルに探索を移行することで、微分可能NASのメモリと計算コストを低減できるか？
• RQ2 カーネルレベルの探索は、特徴レベルの探索と比較して、特にカーネルサイズ選択の面でより細分化されたアーキテクチャ探索を可能にするか？
• RQ3 複数の異なるサイズの候補カーネルを1つのメタカーネルが効果的に表現でき、性能を維持できるか？
• RQ4 ImageNetおよびCOCOにおいて、提案手法は最先端のNASアプローチと比較して、探索効率と最終モデルの精度で優れているか？
• RQ5 ネットワークの深さに沿ったカーネルサイズの学習済み分布はどのようなものか？また、畳み込みニューラルネットワーク設計における既知のインダクティブバイアスと整合性があるか？

主な発見

• 提案手法は、357M FLOPsの制約下でImageNetで77.0%のトップ-1精度を達成し、同じFLOPs制約下でEfficientNetおよびMobileNetV3を上回った。
• 最先端のNAS手法と比較して、探索コストを約3桁削減し、性能を維持または向上させながらより高速なトレーニングを実現した。
• Pascal VOC2007オブジェクト検出ベンチマークでは、metaKernel-Bモデルが77.4%のmAPを達成し、同程度のFLOPsを持つMobileNetV3（×1.25）を上回った。
• モデルは浅い層では小さなカーネル（例：3×3）を好む傾向を発見した一方で、深い層では大きなカーネル（例：5×5、7×7）を好む傾向があり、既知のアーキテクチャ設計のインダクティブバイアスと整合的であった。
• アトラスおよび非対称畳み込みなどの高度な演算とも互換性があり、アーキテクチャの変更なしにその適用範囲を拡張できた。
• メタカーネル定式化により、中間特徴の保存と畳み込み計算を直接カーネルで処理することで、メモリと計算のオーバーヘッドを顕著に削減した。