[論文レビュー] ScaleNAS: One-Shot Learning of Scale-Aware Representations for Visual Recognition

Hsin-Pai Cheng, Feng Liang+6 more|arXiv (Cornell University)|Nov 30, 2020

Human Pose and Action Recognition参考文献 35被引用数 6

ひとこと要約

ScaleNASは、再訓練を伴わずにマルチスケールで高解像度なニューラルアーキテクチャを効率的に発見できる、1回限りのニューラルアーキテクチャ探索手法を導入し、視覚認識におけるスケールに敏感な表現の学習を可能にした。この手法は、人間のポーズ推定（COCOで71.6% AP）およびセマンティックセグメンテーションにおいて、既存手法と比較して優れた精度と低い計算コストを達成し、最先端の性能を実現した。

ABSTRACT

Scale variance among different sizes of body parts and objects is a challenging problem for visual recognition tasks. Existing works usually design dedicated backbone or apply Neural architecture Search(NAS) for each task to tackle this challenge. However, existing works impose significant limitations on the design or search space. To solve these problems, we present ScaleNAS, a one-shot learning method for exploring scale-aware representations. ScaleNAS solves multiple tasks at a time by searching multi-scale feature aggregation. ScaleNAS adopts a flexible search space that allows an arbitrary number of blocks and cross-scale feature fusions. To cope with the high search cost incurred by the flexible space, ScaleNAS employs one-shot learning for multi-scale supernet driven by grouped sampling and evolutionary search. Without further retraining, ScaleNet can be directly deployed for different visual recognition tasks with superior performance. We use ScaleNAS to create high-resolution models for two different tasks, ScaleNet-P for human pose estimation and ScaleNet-S for semantic segmentation. ScaleNet-P and ScaleNet-S outperform existing manually crafted and NAS-based methods in both tasks. When applying ScaleNet-P to bottom-up human pose estimation, it surpasses the state-of-the-art HigherHRNet. In particular, ScaleNet-P4 achieves 71.6% AP on COCO test-dev, achieving new state-of-the-art result.

研究の動機と目的

• 人間のポーズ推定やセマンティックセグメンテーションなどの視覚認識タスクにおけるスケールのばらつきに対処すること。
• 既存のNASおよび手作業で設計されたアーキテクチャが抱える高い探索コストと制限された設計の柔軟性を克服すること。
• 再訓練を伴わずに複数の高性能なアーキテクチャを同時に発見できる1回限りの学習フレームワークを開発すること。
• 多様なハードウェアプラットフォームやタスク要件に適合した効率的でスケールに敏感なモデルの直接展開を可能にすること。

提案手法

• 任意のブロック数とスケール間の特徴統合をサポートする柔軟なマルチスケール特徴統合探索空間を提案した。
• グループ化されたサンプリング戦略を採用し、マルチスケールのスーパーネットを効率的に訓練することで、探索コストをO(1)に削減した。
• 内部段階でのクロスオーバーや変異を含む進化的探索アルゴリズムを導入し、多様なアーキテクチャトポロジーを探索した。
• 知識蒸留を用いた1回限りの訓練により、スーパーネットからエリートサブネットへ性能を転送した。
• ImageNetで訓練されたスーパーネットを、タスク固有のデータセット（Cityscapes, COCO）で微調整することで、エリートアーキテクチャの直接展開を可能にした。
• MSE損失とCityscapesで事前学習された教師モデルを用いた知識蒸留により、追加の訓練なしに精度を向上させた。

実験結果

リサーチクエスチョン

• RQ1 1回限りのNASフレームワークは、複数の視覚認識タスクにわたり、スケールに敏感な表現を効果的に発見できるか？
• RQ2 スケール間の統合と可変的な深さを備えた柔軟なマルチスケール探索空間は、高解像度タスクにおける性能をどのように向上させるか？
• RQ3 グループ化されたサンプリングと進化的探索は、高い精度を維持しつつ、どの程度探索コストを削減できるか？
• RQ4 エリートモデルのアーキテクチャ的パターン（ブロック数、統合演算、FLOPsのトレードオフ）はどのようなものか？

主な発見

• ScaleNet-P4はCOCOテストデブで71.6%のAPを達成し、マルチプレイヤー人間のポーズ推定において新たな最先端性能を樹立した。
• ScaleNet-S1は、CityscapesバリデーションでHRNet、Auto-DeepLab、およびダイナミックルーティングを1.3%〜1.7%上回り、FLOPsが低い。
• グループ化されたサンプリングから得られたパレートフロントは、常にランダム探索やサンドイッチルールを上回るアーキテクチャ探索の効率性と精度を示した。
• より大きなエリートモデルでは、残差ブロックの2倍の特徴統合演算が必要であり、深層モデルにおける設計の優先順位がブロックから統合にシフトしていることを示唆した。
• 知識蒸留によりわずかな精度向上（80.4% mIoU vs. 80.2% 無し）が得られたが、これは有益ではあるが性能向上の主因ではないことを示唆した。
• 分析から、ネットワークの後段の段階では前段よりも特徴統合に依存する傾向が強く、階層的なマルチスケール統合の有効性が裏付けられた。