[논문 리뷰] Learning to track for spatio-temporal action localization

Philippe Weinzaepfel, Zaïd Harchaoui외 1명|arXiv (Cornell University)|2015. 06. 05.

Human Pose and Action Recognition참고 문헌 39인용 수 72

한 줄 요약

이 논문은 공간-시간 행동 로컬라이제이션을 위한 추적 기반 접근법을 제안하며, 프레임 수준의 제안, 인스턴스 및 클래스 수준 검출기, 그리고 공간-시간 운동 히스토GRAM(STMH) 기술자를 통합하여 정확도를 향상시킨다. 고점수 제안을 프레임 간에 추적하고 슬라이딩 윈도우를 통해 시간 경계를 정밀하게 조정함으로써, 이 방법은 UCF-Sports, J-HMDB, UCF-101에서 각각 15%, 7%, 12% 향상된 최신 기술 수준의 mAP 성능을 달성한다.

ABSTRACT

We propose an effective approach for spatio-temporal action localization in realistic videos. The approach first detects proposals at the frame-level and scores them with a combination of static and motion CNN features. It then tracks high-scoring proposals throughout the video using a tracking-by-detection approach. Our tracker relies simultaneously on instance-level and class-level detectors. The tracks are scored using a spatio-temporal motion histogram, a descriptor at the track level, in combination with the CNN features. Finally, we perform temporal localization of the action using a sliding-window approach at the track level. We present experimental results for spatio-temporal localization on the UCF-Sports, J-HMDB and UCF-101 action localization datasets, where our approach outperforms the state of the art with a margin of 15%, 7% and 12% respectively in mAP.

연구 동기 및 목표

• 비트림 영상 내에서 행동을 공간적·시간적으로 정확히 로컬라이제이션하는 과제를 해결하기 위해.
• 프레임 간 일관성을 강제함으로써 추적을 활용해 공간적 및 시간적 로컬라이제이션 정밀도를 향상시키기 위해.
• 트랙 수준에서 CNN 특징과 새로운 공간-시간 운동 히스토GRAM(STMH) 기술자를 조합하여 검출 신뢰도를 향상시키기 위해.
• 공간-시간 행동 로컬라이제이션의 기준 데이터셋에서 최신 기술 수준의 성능을 달성하기 위해.
• 인스턴스 및 클래스 수준의 이중 검출기를 갖춘 추적 기반 프레임워크가 비트림 영상에서 강력한 행동 추적을 위해 효과적인지 입증하기 위해.

제안 방법

• 잠재적인 행동 영역를 커버하기 위해 고재현율 제안 알고리즘을 사용하여 프레임 수준의 행동 제안을 생성한다.
• 외관 및 운동 스트림(예: 광학 흐름)에서 유도된 CNN 특징의 조합을 사용하여 각 제안을 점수화한다.
• 인스턴스 수준 및 클래스 수준의 검출기를 모두 활용하여 프레임 간 일관성을 유지하는 추적 기반 검출 프레임워크를 적용한다.
• 공간-시간 운동 히스토GRAM(STMH)를 사용하여 트랙을 점수화하며, 이는 시간과 공간에 걸쳐 동적 운동 패턴을 캡처한다. 이와 함께 CNN 특징을 통합한다.
• 시간적 로컬라이제이션을 위해 트랙 수준에 적용된 다중 스케일 슬라이딩 윈도우를 사용하여 행동 경계를 정밀하게 조정한다.
• 최종 행동 예측은 높은 점수를 기록한 트랙을 선택함으로써 도출되며, 이때 시간 윈도우는 정답과의 최대 겹침을 최적화한다.

실험 결과

연구 질문

• RQ1 프레임 수준의 제안 간 시간 일관성을 강제함으로써 추적 기반 접근이 공간-시간 행동 로컬라이제이션 정확도를 향상시킬 수 있는가?
• RQ2 인스턴스 수준 및 클래스 수준의 검출기를 조합함으로써 비트림 영상에서 추적의 강건성은 어떻게 향상되는가?
• RQ3 제안된 공간-시간 운동 히스토GRAM(STMH) 기술자가 CNN 특징만을 사용할 경우에 비해 로컬라이제이션 정확도를 얼마나 향상시키는가?
• RQ4 트랙 수준에서의 슬라이딩 윈도우 접근법은 다양하게 지속 시간이 변하는 행동의 시간 경계를 효과적으로 정밀하게 조정하는가?
• RQ5 제안된 방법은 UCF-Sports, J-HMDB, UCF-101와 같은 표준 기준 데이터셋에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• UCF-Sports에서 이 방법은 mAP 90.5%를 달성하여 이전 최신 기술 수준보다 15% 향상되었다.
• J-HMDB에서 이 방법은 IoU 임계치 δ=0.3에서 mAP 63.5%를 기록하여 이전 작업보다 7% 향상되었다.
• UCF-101에서 이 방법은 δ=0.05일 때 mAP 54.28%, δ=0.2일 때 mAP 46.77%를 기록하였으며, δ=0.2에서 [46]보다 12% 향상되었다.
• STMH 기술자를 제거하면 mAP가 2% 감소하여, 이는 정밀한 로컬라이제이션 정확도 향상에 기여한 것을 확인한다.
• 'Basketball' 행동은 짧은 시간 지속성을 가지므로, δ=0.2에서 mAP 28.6%를 기록하였고, 시간 로컬라이제이션 없이선 9.63%로 떨어지며 슬라이딩 윈도우 단계의 가치를 입증한다.
• IoU 임계치에 관계없이 mAP가 높은 안정성을 보이며, 추적 정밀 조정 덕분에 정확한 공간적 로컬라이제이션을 의미한다.