[論文レビュー] NAS-Count: Counting-by-Density with Neural Architecture Search

Yutao Hu, Xiaolong Jiang+5 more|arXiv (Cornell University)|Feb 29, 2020

Video Surveillance and Tracking Methods参考文献 90被引用数 5

ひとこと要約

NAS-Countは、集団数え上げ-密度に基づくタスクにおいて、エンドツーエンドのニューラルアーキテクチャサーチフレームワークを提案する。このフレームワークは、マルチスケールエンコーダーデコーダーネットワーク（AMSNet）とスケールピラミッドプーリング損失（SPPLoss）を自動で設計する。2段階の探索空間と微分可能アーキテクチャサーチを活用することで、4つのベンチマークデータセットで最先端の性能を達成し、精度と密度マップ品質の両面で手作業で設計されたモデルを上回る。

ABSTRACT

Most of the recent advances in crowd counting have evolved from hand-designed density estimation networks, where multi-scale features are leveraged to address the scale variation problem, but at the expense of demanding design efforts. In this work, we automate the design of counting models with Neural Architecture Search (NAS) and introduce an end-to-end searched encoder-decoder architecture, Automatic Multi-Scale Network (AMSNet). Specifically, we utilize a counting-specific two-level search space. The encoder and decoder in AMSNet are composed of different cells discovered from micro-level search, while the multi-path architecture is explored through macro-level search. To solve the pixel-level isolation issue in MSE loss, AMSNet is optimized with an auto-searched Scale Pyramid Pooling Loss (SPPLoss) that supervises the multi-scale structural information. Extensive experiments on four datasets show AMSNet produces state-of-the-art results that outperform hand-designed models, fully demonstrating the efficacy of NAS-Count.

研究の動機と目的

• マルチスケール集団数え上げモデルの自動設計により、手作業によるアーキテクチャ設計への依存を低減すること。
• スケール変動に起因する課題を解決するため、ネットワークアーキテクチャと損失関数の両方をエンドツーエンドで探索すること。
• 特徴抽出と統合のバランスを取ることで性能向上を図る、数え上げに特化した2段階の探索空間を設計すること。
• MSE損失におけるピクセルレベルの分離問題を克服するため、マルチスケールの監視メカニズムを探索すること。
• NASがピクセルレベルの回帰タスク（集団数え上げを含む）において、手作業で設計されたモデルを上回ることを実証すること。

提案手法

• 勾配ベース最適化を用いた高速なアーキテクチャサーチを実現するため、微分可能なワンショットサーチ戦略を採用する。
• 2段階の探索空間を設計：マイクロレベル探索では、ドリルド畳み込みと制限されたプーリングを用いて空間解像度を保持するマルチスケールセルを発見する。マクロレベル探索では、特徴統合を図るマルチパスエンコーダーデコーダーアーキテクチャを探索する。
• ネットワークアーキテクチャAMSNetは、探索されたセルから構成され、マルチスケール特徴抽出と階層的統合を統合する。
• 密度マップにおけるマルチスケール構造的情報を監視するため、ネットワークと同時に自動的に探索されるスケールピラミッドプーリング損失（SPPLoss）を導入する。
• SPPLossは、探索された演算を用いたピラミッドプーリング構造を採用し、標準的なMSE損失を超える監視を強化する。
• 集団数え上げに特化した変更を施したPC-DARTSフレームワークを用いて、AMSNetとSPPLossの共同エンドツーエンドサーチを実施する。

実験結果

リサーチクエスチョン

• RQ1 集団数え上げ-密度というスケール変動を伴うピクセルレベルの回帰タスクに、ニューラルアーキテクチャサーチを効果的に適用できるか？
• RQ2 2段階の探索空間をどのように設計すれば、ネットワークアーキテクチャと損失関数を同時に最適化し、より良いマルチスケール特徴学習を実現できるか？
• RQ3 自動で探索された損失関数（SPPLoss）は、密度マップにおける構造的情報を監視する面で、手作業で設計された損失関数を上回ることができるか？
• RQ4 NAS-Countは、標準的な集団数え上げベンチマークにおいて、手作業で設計されたモデルを上回る性能を達成できるか？
• RQ5 探索プロセスは、多様なデータセットに一般化可能なコンactかつ高精度なモデルを生成できるか？

主な発見

• AMSNetは、ShanghaiTech Part_AおよびPart_Bデータセットで最先端の性能を達成し、最小のMAEと競争力のあるMSEを実現した。
• UCF_CC_50では、MAEで2番目に良く、MSEでもCANを上回りながら、他の多くの手法よりも低いMAEを維持した。
• 極度の密度変動を示す最も挑戦的なデータセットUCF-QNRFでは、MAEとMSEで2番目に良く、スケール変動への耐性を示した。
• WorldExpo’10では、5つのシーンで平均MAEが2番目に低く、3つの個別シーンで1位を獲得した。
• 密度マップ品質において、PSNRが86.4（最高）、SSIMが0.987（最高）を記録し、2番目に良い手法をそれぞれ4.4%、7.2%上回った。
• 256チャネルの軽量版AMSNet_lightは、3番目に小さいモデルサイズでありながら、最高品質の密度マップを生成し、効率性と有効性を実証した。