[논문 리뷰] ARID: A New Dataset for Recognizing Action in the Dark

Yuecong Xu, Jianfei Yang외 4명|arXiv (Cornell University)|2020. 06. 06.

Video Surveillance and Tracking Methods인용 수 10

한 줄 요약

이 논문은 실생활 어두운 환경에서 촬영된 11개의 동작 카테고리에 걸쳐 총 3,780개의 영상 클립을 포함한, 저조도 조건에서의 동작 인식을 위한 최초의 대규모 데이터셋인 ARID를 소개한다. 연구 결과, 기존의 동작 인식 모델과 프레임 강화 기법이 실생활 어두운 영상에서 빈번히 성능이 열악하게 나타나며, 이는 주로 저대비도와 모델의 배경에 대한 오해집중 때문임을 밝혀내었으며, 이는 합성된 어두운 데이터의 부적합성과 도메인 특화 모델의 필요성을 시사한다.

ABSTRACT

The task of action recognition in dark videos is useful in various scenarios, e.g., night surveillance and self-driving at night. Though progress has been made in the action recognition task for videos in normal illumination, few have studied action recognition in the dark. This is partly due to the lack of sufficient datasets for such a task. In this paper, we explored the task of action recognition in dark videos. We bridge the gap of the lack of data for this task by collecting a new dataset: the Action Recognition in the Dark (ARID) dataset. It consists of over 3,780 video clips with 11 action categories. To the best of our knowledge, it is the first dataset focused on human actions in dark videos. To gain further understandings of our ARID dataset, we analyze the ARID dataset in detail and exhibited its necessity over synthetic dark videos. Additionally, we benchmarked the performance of several current action recognition models on our dataset and explored potential methods for increasing their performances. Our results show that current action recognition models and frame enhancement methods may not be effective solutions for the task of action recognition in dark videos.

연구 동기 및 목표

• 저조도 조건에서의 실생활 데이터셋 부족 문제를 해결하기 위해.
• 합성된 어두운 영상과 실생활 어두운 영상 간의 한계를 입증하기 위해.
• 기존의 동작 인식 모델을 실생활 어두운 영상 데이터에 대해 벤치마킹하고 성능 저하 요인을 규명하기 위해.
• 프레임 강화 기법의 효과와 어두운 영상 환경에서의 모델 정확도에 미치는 영향을 평가하기 위해.
• 향후 저조도 동작 인식에 특화된 강력한 모델 개발을 안내하기 위해.

제안 방법

• ARID 데이터셋은 실생활 어두운 환경에서 수집되었으며, 실내 및 실외 야간 풍경을 포함하고 있으며, 11개의 동작 카테고리와 3,780개 이상의 클립을 포함한다.
• 밝기, 대비, 텍스처 특성에 중점을 두고 실생활 어두운 영상와 합성된 어두운 영상 간의 통계적 및 시각적 분석을 수행하였다.
• ARID에 대해 GIC, HE, LIME, BIMEF, KinD 총 5종의 프레임 강화 기법을 적용하여 모델 성능에 미치는 영향을 평가하였다.
• C3D 및 3D-ResNeXt-101를 포함한 여러 최신 동작 인식 모델을 원본 ARID 데이터와 강화된 ARID 데이터에서 평가하였다.
• 모델의 주의 집중 영역을 분석하고 배경이나 잡음에 대한 오해집중 여부를 확인하기 위해 클래스 활성화 맵(CAMs)을 시각화하였다.
• 미래의 방향으로 도메인 적응 및 모델 피지컬 튜닝 전략을 탐색하여 실생활 어두운 영상 데이터에서의 성능 향상을 도모하고자 하였다.

실험 결과

연구 질문

• RQ1 실생활 어두운 영상와 합성된 어두운 영상 간에 시각적 및 통계적 특성에서 어떤 차이가 있는가?
• RQ2 기존의 프레임 강화 기법이 실생활 어두운 영상 데이터에서 동작 인식 정확도를 효과적으로 향상시킬 수 있는가?
• RQ3 프레임 강화가 이루어졌음에도 불구하고 현재의 동작 인식 모델이 어두운 영상 데이터에서 높은 정확도를 달성하지 못하는 이유는 무엇인가?
• RQ4 다양한 프레임 강화 기법이 저조도 조건에서 모델의 주의 집중과 특징 학습에 어떤 정도의 영향을 미치는가?
• RQ5 합성된 어두운 데이터로 훈련된 모델이 실생활 어두운 영상 분포에 효과적으로 적응할 수 있는가?

주요 결과

• 실생활 어두운 영상에서는 합성된 어두운 영상보다 대비가 현저히 낮은 편이며, 이는 합성 방법이 재현하지 못하는 핵심적 특성으로, 실생활 데이터셋이 훈련에 필수적임을 시사한다.
• HE 및 LIME 등의 프레임 강화 기법은 ARID에서 동작 인식 정확도를 떨어뜨리며, 일부 강화 기법이 잡음이나 적대적 유사 효과를 유발함을 시사한다.
• BIMEF 및 KinD 강화 기법은 일부 모델에서 정확도 향상을 이끌어내어, 모든 강화 기법이 동일하게 효과적이거나 안전하지 않음을 시사한다.
• C3D 모델은 어두운 영상에서 주로 배경 영역에 주의를 기울이며, 이는 정확도가 낮은 데에 기여함을 CAM 분석을 통해 확인하였다.
• 3D-ResNeXt-101은 ARID에서 C3D를 능가하는 성능을 보였으며, 깊이 있는 아키텍처가 적절한 강화 기법과 조합될 경우 저조도 도전 과제를 더 잘 처리할 수 있음을 시사한다.
• 본 연구는 현재의 모델들이 어두운 영상에서 윤곽이 뚜렷하지 않은 인물에 대해 집중하기 어려운 점을 드러내었으며, 이는 저조도 동작 인식에 특화된 주의 메커니즘 또는 아키텍처의 개발이 필요함을 시사한다.