[論文レビュー] Few-Shot Scene Adaptive Crowd Counting Using Meta-Learning

Mahesh Kumar Krishna Reddy, Mohammad Asiful Hossain+2 more|arXiv (Cornell University)|Feb 1, 2020

Video Surveillance and Tracking Methods参考文献 30被引用数 13

ひとこと要約

本論文では、少数のラベル付き画像を用いて新しいカメラシーンに迅速に適応できる、少サンプルのシーン適応型集団数え上げのためのメタラーニング手法を提案する。MAMLを用いて汎用的なモデルパラメータを学習することで、最小限のラベルデータでクロスシーン適応において、微調整ベースラインや先行研究の最先端手法を上回る優れた精度を達成する。

ABSTRACT

We consider the problem of few-shot scene adaptive crowd counting. Given a target camera scene, our goal is to adapt a model to this specific scene with only a few labeled images of that scene. The solution to this problem has potential applications in numerous real-world scenarios, where we ideally like to deploy a crowd counting model specially adapted to a target camera. We accomplish this challenge by taking inspiration from the recently introduced learning-to-learn paradigm in the context of few-shot regime. In training, our method learns the model parameters in a way that facilitates the fast adaptation to the target scene. At test time, given a target scene with a small number of labeled data, our method quickly adapts to that scene with a few gradient updates to the learned parameters. Our extensive experimental results show that the proposed approach outperforms other alternatives in few-shot scene adaptive crowd counting. Code is available at https://github.com/maheshkkumar/fscc.

研究の動機と目的

• 限られたラベル付きデータでの新規カメラシーンへの正確な集団数え上げモデルの導入という課題に対処すること。
• 一般化のための大規模かつ多様なトレーニングデータを必要とする従来手法の制限を克服すること。
• メタラーニングを用いて、1～5枚のラベル付き画像のみで、ターゲットシーンへの迅速な適応を可能にすること。
• 最終層だけでなく、すべてのデコーダーパラメータの適応を許容することで、標準的な微調整よりも性能を向上させること。
• 異なるデータセット間での一般化を実証し、実世界の監視環境におけるドメインシフトに対しても頑健であることを示すこと。

提案手法

• 新しいシーンに迅速に適応できる初期モデルパラメータを学習するため、モデルに依存しないメタラーニング（MAML）フレームワークを採用する。
• メタトレーニングの段階では、各シーンが少数のラベル付き画像（サポートセット）を持つ分布全体に対してモデルパラメータを最適化する。
• テスト段階では、ターゲットシーンの新しいラベル付き画像を用いて、メタ学習で得たモデルを勾配更新で微調整する。
• 密度マップ推定のためのベースモデルとして、先行研究の最先端手法（例：[16]）のバックボーンネットワークを採用する。
• ターゲットシーンのサポートセット上で数ステップの勾配更新後の期待損失を最小化するためのメタ最適化を実施する。
• 複雑なシーンにおける局所化と数え上げの精度を向上させるために、ROIに配慮した適応モジュール（Ours w/ ROI）を導入する。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングは、1～5枚のラベル付き画像でのみ、新規カメラシーンに効果的に少サンプルで適応可能な集団数え上げモデルを可能にするか？
• RQ2 標準的な微調整と比較して、メタラーニングベースの適応は、精度および収束速度の点でどのように差がつくか？
• RQ3 提案手法は、WorldExpo’10、Mall、UCSDといった異なるデータセット間でも一般化可能か？
• RQ4 異なるメタラーニングフレームワーク（例：MAML と [20] や [23] と比較）が、適応性能に与える影響は何か？
• RQ5 先行研究[10]がデコーダーの最後の2層のみを微調整するのに対し、本手法はそれよりも優れた性能を達成できるか？

主な発見

• 提案手法は、WorldExpo’10、Mall、UCSDの各データセットにおいて、標準的な微調整や先行研究の最先端手法をすべて上回る性能を発揮した。
• WorldExpo’10データセットでは、5ショットの適応で平均絶対誤差（MAE）が12.4を達成し、ベースラインの事前学習モデル（MAE：15.8）よりも顕著に低い値となった。
• 1枚のラベル付き画像のみで適応した場合でも、MAEが14.2を達成しており、優れた少サンプル一般化性能を示した。
• アブレーションスタディの結果、MAMLベースのメタラーニングは、[20] や [23] といった代替フレームワークを上回ったが、トレーニングの複雑性は高かった。
• 可視化結果から、提案手法の予測密度マップは、特に混雑で複雑なシーンにおいて、ベースラインよりも真値に近いことが確認された。
• ROIに配慮した適応（Ours w/ ROI）を導入した手法は、さらに性能向上を示しており、空間的に注意を払った適応の利点が裏付けられた。