[論文レビュー] ARID: A New Dataset for Recognizing Action in the Dark

Yuecong Xu, Jianfei Yang+4 more|arXiv (Cornell University)|Jun 6, 2020

Video Surveillance and Tracking Methods被引用数 10

ひとこと要約

本稿では、実際の暗い環境で撮影された11の行動カテゴリにわたる3,780本の動画クリップを含む、低照度条件下での行動認識のための最初の大規模データセットARIDを紹介する。研究では、現在の行動認識モデルおよびフレーム強調技術が実際の暗い動画に対しては性能を発揮しないことが明らかになった。これは主にコントラストが低く、モデルが背景に誤って注目してしまうことが原因であり、合成された暗いデータの不適切さと、ドメイン特化型モデルの必要性を示している。

ABSTRACT

The task of action recognition in dark videos is useful in various scenarios, e.g., night surveillance and self-driving at night. Though progress has been made in the action recognition task for videos in normal illumination, few have studied action recognition in the dark. This is partly due to the lack of sufficient datasets for such a task. In this paper, we explored the task of action recognition in dark videos. We bridge the gap of the lack of data for this task by collecting a new dataset: the Action Recognition in the Dark (ARID) dataset. It consists of over 3,780 video clips with 11 action categories. To the best of our knowledge, it is the first dataset focused on human actions in dark videos. To gain further understandings of our ARID dataset, we analyze the ARID dataset in detail and exhibited its necessity over synthetic dark videos. Additionally, we benchmarked the performance of several current action recognition models on our dataset and explored potential methods for increasing their performances. Our results show that current action recognition models and frame enhancement methods may not be effective solutions for the task of action recognition in dark videos.

研究の動機と目的

• 低照度条件下での行動認識のための実世界データセットの不足に取り組むこと。
• 合成された暗い動画と実際の暗い動画を比較し、その限界を明らかにすること。
• 実際の暗い動画データ上で既存の行動認識モデルをベンチマーク化し、性能のボトル neck を同定すること。
• フレーム強調手法の評価と、暗い動画環境下でのモデル精度に与える影響を検証すること。
• 今後の低照度行動認識に特化した堅牢なモデルの開発を支援すること。

提案手法

• ARIDデータセットは、屋内および屋外の夜間風景を含む実際の暗い環境から収集され、11の行動カテゴリと3,780本以上のクリップを含む。
• 明るさ、コントラスト、テクスチャ特性に注目し、実際の暗い動画と合成された暗い動画を統計的・視覚的に比較する分析を実施した。
• Gaussian Image Contrast (GIC)、ヒストグラム等化 (HE)、LIME、BIMEF、KinD の5つのフレーム強調手法をARIDに適用し、モデル性能への影響を評価した。
• C3D や 3D-ResNeXt-101 などの最先端の行動認識モデルを、元のARIDデータおよび強調済みデータ上で評価した。
• モデルの注目領域を分析し、背景やアーティファクトに誤って注目している原因を特定するために、クラスアクティベーションマップ (CAMs) を可視化した。
• 今後の方向性として、実際の暗い動画データに対するパフォーマンス向上を目指したドメイン適応およびモデルのファインチューニング戦略を検討した。

実験結果

リサーチクエスチョン

• RQ1 実際の暗い動画と合成された暗い動画は、視覚的および統計的特性においてどのように異なるか？
• RQ2 既存のフレーム強調技術は、実際の暗い動画データ上で行動認識の正確性を効果的に向上させることができるか？
• RQ3 フレーム強調が施された後でも、現在の行動認識モデルが暗い動画データで高い正確性を達成できないのはなぜか？
• RQ4 異なるフレーム強調手法は、低照度条件下でのモデルの注目度と特徴学習にどの程度の影響を与えるか？
• RQ5 合成された暗いデータで学習したモデルは、実際の暗い動画の分布に効果的に適応可能か？

主な発見

• 実際の暗い動画は、合成された暗い動画と比較して顕著にコントラストが低いことが判明した。これは合成手法が再現できない重要な特徴であり、実データセットの訓練が不可欠であることを示している。
• HE や LIME などのフレーム強調手法は、ARID上で行動認識の正確性を低下させることが判明した。これは一部の強調処理がアーティファクトや敵対的効果を引き起こす可能性を示している。
• BIMEF や KinD の強調手法は一部のモデルで正確性を向上させた。これは、すべての強調手法が同等に有効であるとは限らず、下流の認識タスクに適した手法を選ぶ必要があることを示している。
• C3D モデルは暗い動画においてアクターに注目できていなかった。CAMs は背景領域に広範にわたる注目を示しており、これが低精度と関連している。
• 3D-ResNeXt-101 は ARID で C3D よりも優れた性能を示した。これは、適切な強調処理と組み合わせた深層アーキテクチャが、低照度の課題にうまく対処できる可能性を示している。
• 本研究では、暗い動画において輪郭が不明瞭なアクターに現在のモデルが注目できないことが明らかになった。これには、低照度行動認識に特化した注目メカニズムやアーキテクチャの開発が求められる。