[論文レビュー] TinyAction Challenge: Recognizing Real-world Low-resolution Activities in Videos

Praveen Tirupattur, Aayush Jung Rana+4 more|arXiv (Cornell University)|Jul 24, 2021

Human Pose and Action Recognition参考文献 22被引用数 6

ひとこと要約

本論文は、実際の監視映像から抽出した自然に発生する低解像度の動作を対象としたベンチマークデータセットであるTinyVIRAT-v2を紹介し、動画における小さな遠く離れた動作の認識を進めるためにTinyAction Challengeを主催する。このチャレンジの結果、最先端のモデルは低解像度の動作に対して著しく低い性能を示す一方で、特化したアーキテクチャは顕著に高いF1スコア（最大0.47）を達成しており、実世界の動画解析において専用の手法の必要性が示された。

ABSTRACT

This paper summarizes the TinyAction challenge which was organized in ActivityNet workshop at CVPR 2021. This challenge focuses on recognizing real-world low-resolution activities present in videos. Action recognition task is currently focused around classifying the actions from high-quality videos where the actors and the action is clearly visible. While various approaches have been shown effective for recognition task in recent works, they often do not deal with videos of lower resolution where the action is happening in a tiny region. However, many real world security videos often have the actual action captured in a small resolution, making action recognition in a tiny region a challenging task. In this work, we propose a benchmark dataset, TinyVIRAT-v2, which is comprised of naturally occuring low-resolution actions. This is an extension of the TinyVIRAT dataset and consists of actions with multiple labels. The videos are extracted from security videos which makes them realistic and more challenging. We use current state-of-the-art action recognition methods on the dataset as a benchmark, and propose the TinyAction Challenge.

研究の動機と目的

• 実世界の監視動画に多く見られる低解像度・遠く離れた動作における行動認識研究のギャップを埋める。
• 粗さ、ノイズ、小さな空間的スケールを含む、低解像度動画行動認識の真の課題を反映するベンチマークデータセットを開発する。
• 特に小さな動作認識に特化したアーキテクチャの研究を促進するため、コンペティション形式のチャレンジを主催する。
• 屋内・屋外の両方のシーンを含むマルチラベル・マルチアクションデータセットを提供し、モデルの汎化性能を向上させる。
• 最先端のモデルを低解像度動画データ上で評価し、ベースラインを確立するとともに、性能上の制限を浮き彫りにする。

提案手法

• VIRATおよびMEVAデータセットの実際の監視動画から低解像度の動作クリップを抽出することで、TinyVIRAT-v2を構築する。
• 高解像度動画を人工的に縮小するのではなく、ノイズや粗さを含めた元の動画品質を保ったまま、データセットの現実性を確保する。
• 各動画に複数のアクションが含まれる可能性があるマルチラベルアノテーション方式を設計し、複雑性を高める。
• 既存の最先端の3次元畳み込みニューラルネットワーク（I3D、ResNet-3D、R(2+1)D、WideResNet-3D）を、プーリング層を削除することで低解像度入力に適応させる。
• 精度、再現率、F1スコアをクラス平均して評価し、提出物は学習されたしきい値を用いてマルチホット行動ベクトルを予測する。
• TinyAction Challengeを主催し、評価サーバーを用いて全体のF1スコアに基づきチームをランク付けすることで、コミュニティ主導のイノベーションを促進する。

実験結果

リサーチクエスチョン

• RQ1 既存の最先端の行動認識モデルは、自然に発生する低解像度動画クリップにおいてどの程度の性能を示すか？
• RQ2 動画の解像度とサンプル数が、低解像度環境下での行動認識モデルの性能に与える影響は何か？
• RQ3 特化したアーキテクチャは、実世界の動画データにおける小さな動作認識において、標準的なモデルを著しく上回ることができるか？
• RQ4 低解像度ベンチマークに屋内シーンを含めることで、モデルの汎化性能と性能にどのような影響が生じるか？
• RQ5 低解像度動画クリップで複数のアクションを同時に認識する際の主な課題は何か？

主な発見

• ベースラインのR(2+1)DモデルはTinyVIRAT-v2で最高のF1スコア0.32を達成しており、現在の最先端モデルが低解像度動作認識において限界があることを示している。
• 最多得点を記録したチーム「DeepBlue」はF1スコア0.47を達成し、最良のベースラインを著しく上回っており、特化したアーキテクチャの潜在的可能性を示している。
• 図5および図6に示すように、性能は平均解像度および1クラスあたりの学習サンプル数と強く相関しており、データ量と解像度への感受性が顕著に現れている。
• チャレンジ優勝チームのモデルは、精度0.51および再現率0.49を達成しており、ベースラインと比較してマルチラベル予測におけるバランスが向上している。
• ベースラインモデルとチャレンジ優勝チームのモデルとの間の性能格差は、現在のモデルが実世界の低解像度動作認識に不適切であることを強調している。
• TinyVIRAT-v2が屋内シーンと現実的な動画劣化を含めることで、データセットの複雑性が増し、実世界の展開状況をより適切に反映している。