[論文レビュー] Efficient Neural Architecture Transformation Search in Channel-Level for Object Detection

Junran Peng, Ming Sun+3 more|arXiv (Cornell University)|Jan 1, 2019

Advanced Neural Network Applications被引用数 45

ひとこと要約

本稿では、ImageNetで事前学習されたモデルを再訓練せずに、オブジェクト検出タスクに再利用可能な勾配ベースでチャネルレベルの探索手法であるNeural Architecture Transformation Search (NATS)を提案する。分類ネットワークを検出タスクに適応する効率的なアーキテクチャ変換を学習することで、追加のパラメータやFLOPsを追加せずにCOCOで最先端の性能を達成し、リアルタイムアプリケーションにおける高速でハードウェアにやさしいデプロイを可能にする。

ABSTRACT

Recently, Neural Architecture Search has achieved great success in large-scale image classification. In contrast, there have been limited works focusing on architecture search for object detection, mainly because the costly ImageNet pretraining is always required for detectors. Training from scratch, as a substitute, demands more epochs to converge and brings no computation saving. To overcome this obstacle, we introduce a practical neural architecture transformation search(NATS) algorithm for object detection in this paper. Instead of searching and constructing an entire network, NATS explores the architecture space on the base of existing network and reusing its weights. We propose a novel neural architecture search strategy in channel-level instead of path-level and devise a search space specially targeting at object detection. With the combination of these two designs, an architecture transformation scheme could be discovered to adapt a network designed for image classification to task of object detection. Since our method is gradient-based and only searches for a transformation scheme, the weights of models pretrained in ImageNet could be utilized in both searching and retraining stage, which makes the whole process very efficient. The transformed network requires no extra parameters and FLOPs, and is friendly to hardware optimization, which is practical to use in real-time application. In experiments, we demonstrate the effectiveness of NATS on networks like {\em ResNet} and {\em ResNeXt}. Our transformed networks, combined with various detection frameworks, achieve significant improvements on the COCO dataset while keeping fast.

研究の動機と目的

• ImageNet事前学習を必要とするオブジェクト検出モデルの高い計算コストと長い訓練時間に対処すること。
• 再訓練から始めることなく、追加のパラメータを追加せずに効率的なアーキテクチャ探索を可能にすること。
• 効率性の向上を図るため、探索段階と再訓練段階の両方で事前学習済み重みを再利用する探索手法の開発。
• オブジェクト検出性能に特化したチャネルレベルの探索空間の設計。
• リアルタイムデプロイメントに適した実用的でハードウェア最適化されたアーキテクチャ変換スキームの設計。

提案手法

• パスレベルではなくチャネルレベルで動作する勾配ベースのニューラルアーキテクチャ探索戦略を提案し、探索の複雑さを低減する。
• チャネルスケーリングやマージといったチャネル単位の変換に焦点を当てた、新しい探索空間を導入し、分類ネットワークを検出タスクに適応させる。
• 探索段階と再訓練段階の両方でImageNet事前学習済み重みを再利用し、再訓練から始めることを排除する。
• 変換方針のエンドツーエンド最適化を可能にする微分可能探索メカニズムを採用する。
• パラメータやFLOPsの増加がないように、モデル効率を維持する変換スキームを設計する。
• ResNet や ResNeXt などの既存ネットワークに学習済み変換を適用し、さまざまな検出フレームワークに統合する。

実験結果

リサーチクエスチョン

• RQ1 ImageNet事前学習済み分類ネットワークをオブジェクト検出タスクに適応させるために、チャネルレベルのアーキテクチャ探索戦略が効果的であるか？
• RQ2 事前学習済み重みを再利用しながら、探索プロセスを効率的かつ微分可能にすることができるか？
• RQ3 提案された変換スキームは、FLOPs やパラメータの増加なしに検出性能を向上させるか？
• RQ4 最小限の計算オーバーヘッドでCOCOで最先端の結果を達成できるか？
• RQ5 異なるバックボーンアーキテクチャや検出フレームワークにわたって、この手法は一般化性を示せるか？

主な発見

• 提案されたNATS手法は、ResNet や ResNeXt バックボーンに適用することで、COCOオブジェクト検出ベンチマークで顕著な性能向上を達成した。
• 追加のパラメータやFLOPsを追加せずに、複数の検出フレームワークにおいて元のネットワークを上回る性能を示した。
• プロセス全体でImageNet事前学習済み重みを再利用することで、高速な収束と効率的な訓練を可能にした。
• 勾配ベースの最適化とチャネルレベルの操作により、探索プロセスが計算的に効率的であった。
• 得られたモデルはハードウェアにやさしく、リアルタイム推論用途に適していた。
• 異なる検出フレームワークやバックボーンアーキテクチャにわたって、強い一般化性能を示した。