[논문 리뷰] Searching Action Proposals via Spatial Actionness Estimation and Temporal Path Inference and Tracking

Nannan Li, Dan Xu외 3명|arXiv (Cornell University)|2016. 08. 23.

Human Pose and Action Recognition참고 문헌 28인용 수 5

한 줄 요약

이 논문은 외부 환경에서의 비디오 행동 제안을 생성하기 위한 새로운 프레임워크를 제안한다. 이 프레임워크는 외관 및 운동 특징을 이용한 프레임 단위 행동성 추정과 탐지 기반 추적을 통한 타임스탬프 경로 추론을 결합한다. Faster R-CNN을 활용해 인간 제안을 생성하고, 운동을 가우시안 혼합 모델로 모델링함으로써, UCF-Sports에서 91.49%의 최고 수준의 재현율(Recall)을 달성하면서도 비디오당 평균 12개의 제안만을 사용하여 제안 수를 크게 줄였으며, 정확도는 향상시켰다.

ABSTRACT

In this paper, we address the problem of searching action proposals in unconstrained video clips. Our approach starts from actionness estimation on frame-level bounding boxes, and then aggregates the bounding boxes belonging to the same actor across frames via linking, associating, tracking to generate spatial-temporal continuous action paths. To achieve the target, a novel actionness estimation method is firstly proposed by utilizing both human appearance and motion cues. Then, the association of the action paths is formulated as a maximum set coverage problem with the results of actionness estimation as a priori. To further promote the performance, we design an improved optimization objective for the problem and provide a greedy search algorithm to solve it. Finally, a tracking-by-detection scheme is designed to further refine the searched action paths. Extensive experiments on two challenging datasets, UCF-Sports and UCF-101, show that the proposed approach advances state-of-the-art proposal generation performance in terms of both accuracy and proposal quantity.

연구 동기 및 목표

• 비제약 조건의 비디오에서 고품질의, 공간적으로 조밀하고 시간적으로 연속적인 행동 제안을 생성하는 데 도전한다.
• 기존의 객체 제안 방법을 넘어서 인간의 외관과 운동 특징을 통합하여, 단일 프레임 수준의 행동성 추정을 향상시킨다.
• 높은 재현율을 유지하면서도 제안 수를 최소화하여 계산 복잡도를 감소시킨다.
• 시간적 행동 경로 연관을 최대 집합 커버리지 문제로 공식화하고, 최적화된 탐욕 알고리즘을 사용하여 해결한다.
• 탐지 실패한 프레임에서 누락된 제안을 복구하기 위해 탐지 기반 추적 기법을 적용하여 경로를 정밀하게 보완한다.

제안 방법

• 프레임 단위 행동성 추정은 외관 및 운동 특징을 기반으로 한 강화된 행동 검출 데이터셋에 맞추어 미세조정된 Faster R-CNN 모델을 사용하여 인간 제안을 생성함으로써 수행된다.
• 각 인간 제안에 대해 가우시안 혼합 모델을 사용하여 운동 패턴을 모델링하고, 운동 기반 행동성을 추정한다.
• 공간적 유사성과 운동 유사성을 기반으로 전진 및 역방향 탐색 알고리즘을 통해 프레임 간 제안을 연결하여 공간-시간 행동 경로를 형성한다.
• 행동 경로 연관은 최대 집합 커버리지 문제로 공식화되며, 개선된 최적화 목표와 탐욕적 탐색 알고리즘을 통해 해결된다.
• 탐지 실패한 프레임에서 누락된 제안을 복구하기 위해 탐지 기반 추적 기법을 적용하여 경로를 정밀하게 보완한다.
• 프레임워크는 UCF-Sports 및 UCF-101에서 학습 및 평가되며, 추론 런타임은 프레임당 평균 1.69초이다.

실험 결과

연구 질문

• RQ1 외부 환경의 비디오에서 외관과 운동 특징을 함께 모델링하면, 단일 프레임 수준의 행동성 추정 성능이 향상되는가?
• RQ2 행동 경로 연관을 최대 집합 커버리지 문제로 공식화하면, 더 나은 제안 품질과 더 낮은 중복성으로 이어지는가?
• RQ3 개선된 목표 함수를 갖춘 탐욕적 탐색 알고리즘이 고재현율, 저복잡도 행동 제안을 생성하는 데 얼마나 효과적인가?
• RQ4 탐지 기반 추적 기법이 행동 경로의 완전성과 연속성 향상에 얼마나 기여하는가?
• RQ5 다양한 행동 클래스에 걸쳐 최고 수준의 방법들과 비교했을 때, 제안된 방법은 재현율, 제안 수, 그리고 강건성 측면에서 어떤가?

주요 결과

• UCF-Sports 데이터셋에서 제안된 방법은 IoU 임계치 0.5에서 91.49%의 재현율을 달성하였으며, 이는 이전 방법들이 최대 89.36%를 기록한 것과 비교해 뚜렷한 우월성을 보였다.
• 이 방법은 비디오당 평균 12개의 행동 제안만 생성하며, 이는 기존 최고 수준의 방법들이 수백 또는 수천 개의 제안을 생성하는 것과 비교해 극적으로 감소한 수치이다.
• UCF-101에서 이 방법은 63.76%의 ABO와 39.64%의 재현율을 기록하였으며, 이는 이전 최고 수준의 APT 방법(40.77% ABO, 35.45% 재현율)을 초월하였다.
• Biking, Surfing, TrampoliningJumping 등의 도전적인 행동 클래스에서 이 방법은 기준 방법들보다 뚜렷한 성능 향상을 보였다.
• 높은 IoU 임계치(예: 0.7)에서도 이 방법은 재현율이 0.7 이상을 유지하는 반면, 이전 방법들은 동일 조건에서 0.4 이하로 급격히 떨어졌다.
• 런타임 분석 결과, 평균 추론 시간은 프레임당 1.69초였으며, 행동성 추정에 1초, 경로 추론에 0.09초, 경로 완성에 0.5초가 소요되었다.