[論文レビュー] UAV-Human: A Large Benchmark for Human Behavior Understanding with Unmanned Aerial Vehicles

Tianjiao Li, Jun Liu+4 more|arXiv (Cornell University)|Apr 2, 2021

Human Pose and Action Recognition参考文献 40被引用数 18

ひとこと要約

本稿では、都市部および農村部の多様な環境、昼夜の状態、119名の被験者をカバーする67,428本の動画シーケンスを含む、大規模かつマルチモーダルなUAVベースの行動理解ベンチマーク「UAV-Human」を紹介する。また、平坦なRGB動画をガイドとして無限大の変換学習を用いる魚眼動画の行動認識手法を提案し、魚眼データ上で34.12%のCSv1精度を達成した。これは先行手法を上回り、著しい歪みに対しても有効であることを示している。

ABSTRACT

Human behavior understanding with unmanned aerial vehicles (UAVs) is of great significance for a wide range of applications, which simultaneously brings an urgent demand of large, challenging, and comprehensive benchmarks for the development and evaluation of UAV-based models. However, existing benchmarks have limitations in terms of the amount of captured data, types of data modalities, categories of provided tasks, and diversities of subjects and environments. Here we propose a new benchmark - UAVHuman - for human behavior understanding with UAVs, which contains 67,428 multi-modal video sequences and 119 subjects for action recognition, 22,476 frames for pose estimation, 41,290 frames and 1,144 identities for person re-identification, and 22,263 frames for attribute recognition. Our dataset was collected by a flying UAV in multiple urban and rural districts in both daytime and nighttime over three months, hence covering extensive diversities w.r.t subjects, backgrounds, illuminations, weathers, occlusions, camera motions, and UAV flying attitudes. Such a comprehensive and challenging benchmark shall be able to promote the research of UAV-based human behavior understanding, including action recognition, pose estimation, re-identification, and attribute recognition. Furthermore, we propose a fisheye-based action recognition method that mitigates the distortions in fisheye videos via learning unbounded transformations guided by flat RGB videos. Experiments show the efficacy of our method on the UAV-Human dataset. The project page: https://github.com/SUTDCV/UAV-Human

研究の動機と目的

• UAVベースの行動理解のための、大規模で包括的かつ多様なベンチマークの不足に対処すること。
• 都市部および農村部の多様な環境、時間帯、UAV飛行ダイナミクスをカバーする、RGB、魚眼、赤外線（IR）、夜間視界のマルチモーダルデータを収集し、現実世界の複雑さを反映すること。
• 歪みの著しい魚眼動画における行動認識のための、歪みのないRGB動画をガイドとして無限大の変換を学習する、強力な手法を開発すること。
• 複数のタスク（行動認識、ポーズ推定、人物再識別、属性認識）において、最先端モデルの評価を実施すること。
• UAVベースの行動理解のための深層学習モデルの体系的評価と発展を可能にするベンチマークを確立すること。

提案手法

• UAV-Humanベンチマークは、3か月間にわたり都市部および農村部を飛行するUAVにAzure DK、魚眼、夜間視界カメラを搭載し、収集されたものである。
• 魚眼ベースの行動認識手法は、歪みを補正するための無限大の空間的変換を学習し、対応する平坦なRGB動画シーケンスをガイドとして用いる。
• この手法は、RGB動画からの監視信号を用いて、魚眼空間から歪みのない空間へのマッピングを学習するGT-モジュール（ガイドド変換モジュール）を採用している。
• 行動認識では、RGB、魚眼、深度、IR、夜間視界動画の複数モodalを用い、クロスサブセット（CSv1、CSv2）評価プロトコルを適用してモデルの学習と評価を実施した。
• ポーズ推定は、17個のキーポイントを有する22,476フレームのキーポイントアノテーションを用い、HigherHRNet や AlphaPose といった最先端モデルを用いて評価した。
• 人物再識別と属性認識は、それぞれ41,290フレーム（1,144名の識別子）および22,263フレーム（7属性）を用い、ResNet や DenseNet のベースラインを用いて評価した。

実験結果

リサーチクエスチョン

• RQ1 UAVが収集したデータにおける、異なる動画モダリティ（例：魚眼、RGB、IR）における行動認識モデルの性能は、どのように変化するか？
• RQ2 学習ベースのアプローチは、UAV動画における著しい魚眼歪みを、行動認識に適した形で効果的に補正できるか？
• RQ3 動的な視点と運動ブラーを伴うUAVシナリオにおいて、スケルトンベースの表現と動画ベースの表現は、どのように比較されるか？
• RQ4 現在の最先端モデルが、ポーズ推定、人物再識別、属性認識の各タスクにおいて、UAV-Humanで果たす性能の限界は何か？
• RQ5 UAV-Humanに含まれる被験者、環境、UAV飛行ダイナミクスの多様性は、既存のモデルをどの程度挑戦するか？

主な発見

• ガイドド変換を用いた提案手法は、34.12%のCSv1精度を達成し、ベースラインの魚眼モデルを上回り、歪みの著しいデータに対する有効性を示した。
• 提案手法を用いた魚眼動画では、23.24%のCSv1精度を達成し、ベースラインの20.76%から顕著な向上を示し、ガイドド歪み補正の価値を裏付けた。
• スケルトンベースの手法は動画ベースの手法を上回り、Shift-GCNはCSv2で67.04%のRank-1精度を達成した。これは、動的なUAV視点においてもスケルトン表現の優位性を示している。
• ポーズ推定モデルは56.5–56.9%のmAPにとどまり、視点の変化、スケールの変動、オクルージョンの影響により、高い難易度であることが示された。
• 人物再識別モデルはDG-Netを用いて最大85.71%のmAPを達成したが、上空からの移動カメラの視点は特徴学習に著しい挑戦をもたらしている。
• 属性認識の性能は、衣類の色やスタイル（例：UCC/Sで44.4%）が最も低く、多様な視点と長期にわたるデータ収集の影響を受けることが明らかになった。