[논문 리뷰] TinyAction Challenge: Recognizing Real-world Low-resolution Activities in Videos

Praveen Tirupattur, Aayush Jung Rana외 4명|arXiv (Cornell University)|2021. 07. 24.

Human Pose and Action Recognition참고 문헌 22인용 수 6

한 줄 요약

이 논문은 실제 보안 영상에서 추출한 자연스러운 저해상도 동작을 포함하는 벤치마크 데이터셋인 TinyVIRAT-v2를 소개하고, 영상 내에서 작은 거리의 동작을 인식하는 데 있어 성능을 향상시키기 위해 TinyAction 챌린지를 주최한다. 챌린지 결과, 최신 기술 모델들은 저해상도 동작에서 뛰어나지 못하는 성능을 보이며, 전용 아키텍처는 상당히 높은 F1 점수(최대 0.47)를 기록함으로써 실제 영상 분석에서 전용 방법의 필요성을 입증한다.

ABSTRACT

This paper summarizes the TinyAction challenge which was organized in ActivityNet workshop at CVPR 2021. This challenge focuses on recognizing real-world low-resolution activities present in videos. Action recognition task is currently focused around classifying the actions from high-quality videos where the actors and the action is clearly visible. While various approaches have been shown effective for recognition task in recent works, they often do not deal with videos of lower resolution where the action is happening in a tiny region. However, many real world security videos often have the actual action captured in a small resolution, making action recognition in a tiny region a challenging task. In this work, we propose a benchmark dataset, TinyVIRAT-v2, which is comprised of naturally occuring low-resolution actions. This is an extension of the TinyVIRAT dataset and consists of actions with multiple labels. The videos are extracted from security videos which makes them realistic and more challenging. We use current state-of-the-art action recognition methods on the dataset as a benchmark, and propose the TinyAction Challenge.

연구 동기 및 목표

• 실세계 보안 영상에서 흔히 볼 수 있는 저해상도, 먼 거리의 동작에 대한 행동 인식 연구의 격차를 보완한다.
• 입자, 노이즈, 작은 공간적 크기 등 실제 저해상도 영상 행동 인식의 도전 과제를 반영하는 벤치마크 데이터셋을 개발한다.
• 특히 소형 행동 인식에 특화된 아키텍처 개발을 자극하기 위해 경쟁적인 챌린지를 주최한다.
• 실내 및 실외 환경을 모두 포함하는 다중 레이블, 다중 행동 데이터셋을 제공하여 모델의 일반화 능력을 향상시킨다.
• 최신 기술 모델들을 저해상도 영상 데이터에 대해 평가하고 비교하여 기준 성능을 설정하고 성능 한계를 드러낸다.

제안 방법

• VIRAT 및 MEVA 데이터셋의 실제 보안 영상에서 저해상도 행동 클립을 추출하여 TinyVIRAT-v2를 구축한다.
• 고해상도 영상을 인위적으로 저해상도로 변환하는 대신, 원본 영상 품질, 노이즈, 입자 등을 그대로 유지하여 데이터셋의 현실성 확보.
• 각 영상에 다중 행동이 포함될 수 있도록 다중 레이블 주석 체계를 설계하여 복잡도를 증가시킨다.
• 기존 최신 기술 3D CNN 아키텍처(I3D, ResNet-3D, R(2+1)D, WideResNet-3D)를 풀링 레이어를 제거하여 저해상도 입력에 적합하게 수정한다.
• 정밀도, 재현율, F1 점수의 클래스 평균을 사용하여 모델을 평가하며, 제출된 결과는 다중 핫 레이블 예측을 위해 학습된 임계값을 사용한다.
• 전체 F1 점수 기반으로 팀 순위를 매기는 평가 서버를 갖춘 TinyAction 챌린지를 주최하여 공동체 주도적 혁신을 촉진한다.

실험 결과

연구 질문

• RQ1 기존 최신 기술 행동 인식 모델들은 자연스럽게 발생하는 저해상도 영상 클립에서 어떻게 성능을 내는가?
• RQ2 영상 해상도와 샘플 수가 저해상도 환경에서 행동 인식 모델의 성능에 어떤 영향을 미치는가?
• RQ3 특화된 아키텍처는 실세계 영상 데이터에서 소형 행동 인식에서 표준 모델을 크게 능가할 수 있는가?
• RQ4 저해상도 벤치마크에 실내 환경을 포함시키는 것이 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ5 저해상도 영상 클립에서 동시에 여러 행동을 인식하는 데 있어 핵심 과제는 무엇인가?

주요 결과

• 기준 모델인 R(2+1)D는 TinyVIRAT-v2에서 F1 점수 0.32를 기록하여 현재 최신 기술 모델이 저해상도 행동 인식에서 제한된 성능을 보임을 시사한다.
• 우승 팀인 DeepBlue는 F1 점수 0.47을 기록하여 기준 모델을 크게 앞서며, 전용 아키텍처의 잠재력을 입증한다.
• 그림 5와 6에서 보듯이 성능은 평균 해상도와 클래스당 학습 샘플 수와 강하게 상관되며, 데이터 및 해상도 민감도를 나타낸다.
• 챌린지 우승 팀의 모델은 정밀도(0.51)와 재현율(0.49)이 높아 기준 모델 대비 다중 레이블 예측의 균형이 향상됨을 보여준다.
• 기준 모델과 챌린지 우승 팀 간의 성능 격차는 현재 모델이 실세계 저해상도 행동 인식에 부적절하다는 것을 강력히 시사한다.
• TinyVIRAT-v2가 실내 환경과 현실적인 영상 열화를 포함시켜 데이터셋의 복잡도를 높이고, 실세계 배포 조건을 더 잘 반영한다.