[논문 리뷰] Spatio-temporal Action Recognition: A Survey

Amlaan Bhoi|arXiv (Cornell University)|2019. 01. 27.

Human Pose and Action Recognition참고 문헌 37인용 수 10

한 줄 요약

이 종합적 서베이는 시공간 행동 인식 방법에 대한 포괄적인 분석을 제공하며, 3D CNN, 행동 제안, 그래프 기반 모델, 변형 가능한 부분과 같은 접근 방식을 포함한다. 주요 데이터셋을 통해 그들의 강점, 한계 및 성능을 평가한 결과, 시공간 컨볼루션과 최적화된 행동 제안 네트워크가 확장성과 정확도 있는 행동 국소화에 매우 유망한 것으로 결론 내렸다.

ABSTRACT

The task of action recognition or action detection involves analyzing videos and determining what action or motion is being performed. The primary subject of these videos are predominantly humans performing some action. However, this requirement can be relaxed to generalize over other subjects such as animals or robots. The applications can range from anywhere between human-computer inter-action to automated video editing proposals. When we consider spatiotemporal action recognition, we deal with action localization. This task not only involves determining what action is being performed but also when and where itis being performed in said video. This paper aims to survey the plethora of approaches and algorithms attempted to solve this task, give a comprehensive comparison between them, explore various datasets available for the problem, and determine the most promising approaches.

연구 동기 및 목표

• 시공간 행동 인식 및 국소화를 위한 최신 기법들을 체계적으로 검토하는 것.
• 3D CNN, 행동 제안 네트워크, 그래프 기반 모델 등을 포함한 핵심 방법론의 장단점을 비교하는 것.
• Kinetics, UCF-101, HMDB, ActivityNet 등의 주요 벤치마크 데이터셋의 성능 및 적합성을 평가하는 것.
• 기존 방법에서의 계산적 과제와 정확도 문제, 특히 확장성과 가림, 운동에 대한 저항성 측면에서의 과제를 규명하는 것.
• 향후 유망한 방향성, 특히 향상된 시공간 특징 학습과 다중 모odal 데이터 통합을 강조하는 것.

제안 방법

• 논문은 영상 클립에서 직접 시공간 특징을 학습하는 핵심 방법으로 3D 컨volutional 신경망(3D-CNNs)을 서베이한다.
• 프레임 간 바운딩 박스 연결 없이 슈퍼보크셀과 운동 증거를 활용해 시공간 튜브릿을 생성하는 튜브릿 기반 행동 제안 방법을 분석한다.
• 픽셀 단위의 운동 이탈을 통해 계산되는 독립적 운동 증거(IME)를 특징으로 활용하여 배경 운동과 행동을 구분한다.
• 골격 데이터 또는 인간 신체 부위 간 관계를 표현하는 그래프 기반 모델을 평가하며, 자세 추정을 사전 처리 단계로 요구한다.
• 분류 기반 부분 모델, 변형 가능한 부분, 도형 중심 모델을 비교 분석하여 수동 특징 엔지니어링과 확장성 간의 상충 관계를 강조한다.
• 공간적·시간적 일관성을 활용해 튜브릿 기반 기술자에 대해 단어의 집합(BOW) 표현을 적용하여 분류 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 어떤 딥 러닝 아키텍처가 공간과 시간을 동시에 고려한 행동 국소화에 가장 효과적인가? 정확도와 효율성 측면에서 어떻게 비교되는가?
• RQ2 행동 제안 방법은 검색 공간을 어떻게 줄이고 국소화 정밀도를 유지하는가? 계산적 병목 현상은 무엇인가?
• RQ3 운동 특징과 옵티컬 플로우는 혼잡하거나 다이나믹한 환경에서 행동 인식을 얼마나 향상시키는가?
• RQ4 예를 들어 Kinetics, ActivityNet, NTURGB-D와 같은 다양한 데이터셋은 행동 다양성, 영상 길이, 애너테이션 품질 측면에서 어떻게 다름이 있는가? 이러한 요소는 모델의 일반화 능력에 어떤 영향을 미치는가?
• RQ5 현재 방법의 주요 한계점은 무엇인가? 특히 가림, 카메라 움직임, 장시간 영상에 대한 확장성 측면에서 문제점은 무엇이며, 어떻게 해결할 수 있는가?

주요 결과

• 3D 컨볼루션 신경망은 시공간 특징 학습의 강력한 베이스라인을 제공하지만, 상당한 계산 자원이 필요하다.
• 튜브릿과 슈퍼보크셀을 활용한 행동 제안 방법은 운동과 공간 일관성을 활용함으로써 전수 검색의 필요성을 줄이고 국소화 효율성을 향상시킨다.
• 독립적 운동 증거(IME)는 정적 배경과의 구분을 통해 행동 검출 성능을 크게 향상시킨다.
• 그래프 기반 모델은 유망한 성과를 보이지만 정확한 자세 추정에 크게 의존하며, 이는 실제 영상에서의 성능 저하와 편향을 유발할 수 있다.
• 변형 가능한 부분 모델은 행동의 공간적 변형을 효과적으로 처리하지만, 신중한 설계가 필요하며 엔드 투 엔드 딥 러닝 접근 방식보다 확장성이 떨어진다.
• Kinetics(306,000개 영상, 400개 클래스)와 ActivityNet(38,880분, 200개 클래스)와 같은 데이터셋은 대규모이고 다양한 데이터를 제공하지만, 장시간의 트림되지 않은 영상은 시간적 국소화의 과제를 증가시킨다.