[논문 리뷰] Human Action Localization with Sparse Spatial Supervision

Philippe Weinzaepfel, Xavier Martín외 1명|arXiv (Cornell University)|2016. 05. 17.

Human Pose and Action Recognition참고 문헌 33인용 수 68

한 줄 요약

이 논문은 단지 행동 인스턴스당 몇 프레임에 대한 희박한 공간적 애너테이션(즉, 바운딩 박스)만을 사용하여 정확한 인간 행동 국소화를 달성하는 시공간 행동 탐지 방법을 제안한다. 기존의 밀도 높은 프레임 수준의 애너테이션 대신, 이 방법은 인간 튜브 추적기와 시간 모델링 기능을 갖춘 이중 스트림 네트워크를 활용하여 트림되지 않은 영상에서 행동을 국소화한다. 이는 새로 제안된 DALY 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 총 3,724개의 시간적·공간적 애너테이션을 가진 행동 인스턴스를 포함한다.

ABSTRACT

We introduce an approach for spatio-temporal human action localization using sparse spatial supervision. Our method leverages the large amount of annotated humans available today and extracts human tubes by combining a state-of-the-art human detector with a tracking-by-detection approach. Given these high-quality human tubes and temporal supervision, we select positive and negative tubes with very sparse spatial supervision, i.e., only one spatially annotated frame per instance. The selected tubes allow us to effectively learn a spatio-temporal action detector based on dense trajectories or CNNs. We conduct experiments on existing action localization benchmarks: UCF-Sports, J-HMDB and UCF-101. Our results show that our approach, despite using sparse spatial supervision, performs on par with methods using full supervision, i.e., one bounding box annotation per frame. To further validate our method, we introduce DALY (Daily Action Localization in YouTube), a dataset for realistic action localization in space and time. It contains high quality temporal and spatial annotations for 3.6k instances of 10 actions in 31 hours of videos (3.3M frames). It is an order of magnitude larger than existing datasets, with more diversity in appearance and long untrimmed videos.

연구 동기 및 목표

• 비용이 많이 드는 밀도 높은 공간적 애너테이션에 의존도를 줄이는 인간 행동 국소화 방법을 개발하는 것.
• 행동 인스턴스당 몇 프레임만 애너테이션된 희박한 공간적 지도 학습 조건에서 행동 국소화 성능을 평가하는 것.
• 10개의 행동 클래스, 330만 프레임, 3,724개의 시간적·공간적 애너테이션을 가진 대규모 벤치마크인 DALY 데이터셋을 제안하고 공개하는 것.
• 강력한 인간 튜브 추적 및 탐지 파이프라인을 통해 희박한 지도 학습이 효과적인 시공간 행동 탐지에 충분하다는 것을 보여주는 것.

제안 방법

• 모델은 외관 및 운동 특징을 위한 별도의 브랜치를 가진 이중 스트림 컨볼루션 신경망을 사용하며, 희박한 공간적 애너테이션을 가진 영상에서 엔드 투 엔드로 훈련된다.
• 사람 탐지 결과를 프레임 간에 연결하기 위해 인간 튜브 추적기가 사용되어 시간에 따라 연결된 시공간 튜브를 생성한다.
• 공간적 애너테이션은 행동 인스턴스당 5개의 균일하게 샘플링된 프레임에서 수집되며, 주로 주인공, 물체, 상체 관절 키포인트에 대한 바운딩 박스를 포함한다.
• 시간적 국소화는 튜브 특징에 대해 시간 회귀 헤드를 사용하여 행동 튜브의 시작 및 종료 시간을 회귀함으로써 수행된다.
• 정확한 국소화를 향상시키기 위해 분류, 회귀, 자세 추정을 결합한 다중 작업 손실을 사용하여 모델을 훈련한다.
• 영상 컷 처리를 위해 샷컷 플래그를 사용하며, 필요에 따라 컷을 별개의 행동 인스턴스로 간주한다.

실험 결과

연구 질문

• RQ1 행동 인스턴스당 몇 프레임에 대한 희박한 공간적 애너테이션(예: 바운딩 박스)만으로도 정확한 인간 행동 국소화를 달성할 수 있는가?
• RQ2 행동 인스턴스당 5개 프레임만을 사용해 공간적 지도 학습을 수행할 경우, 행동 국소화 성능가 어떻게 저하되는가?
• RQ3 희박한 지도 학습 조건 하에서 튜브 기반 추적 기법이 시간적 일관성과 국소화 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 다양한 행동 클래스와 복잡한 시간 경계를 가진 새로운 도전적인 데이터셋에서, 제안된 방법이 완전히 지도 학습 기반의 베이스라인과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 희박한 공간적 지도 학습만을 사용하여 DALY 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 높은 정확도의 국소화를 위해 밀도 높은 애너테이션의 필요성이 없음을 입증한다.
• 평균 행동 인스턴스 지속 시간은 7.8초이며 표준편차는 16.4초로, 행동 길이에 큰 변동성이 있음을 나타내며, 이는 제안된 방법이 이를 성공적으로 처리함을 보여준다.
• 시간적 교차율(Intersection over Union, IoU)이 0.2 이상인 행동 인스턴스의 95%를 탐지함으로써, 희박한 지도 학습 조건에서도 강력한 시간적 국소화 능력을 보임을 확인한다.
• 실패 사례는 주로 부분적인 신체 또는 카메라에 의한 가림으로 인해 인간 탐지기의 추적 유지가 어려운 경우에서 기인하며, 심한 시각적 열화 조건에서의 강건성에 대한 한계를 드러낸다.
• 데이터셋은 클래스당 51개의 영상, 총 3,724개의 행동 인스턴스, 액션을 포함하는 70만 프레임을 포함하여 향후 연구를 위한 풍부하고 다양한 벤치마크를 제공한다.
• 짧은 행동이나 다수의 사람들이 있는 복잡한 장면에서도 전화 거는 것, 마시는 것, 사진 찍는 것 등의 행동을 성공적으로 국소화함을 확인했다.