[논문 리뷰] Who did What at Where and When: Simultaneous Multi-Person Tracking and Activity Recognition

Wenbo Li, Ming‐Ching Chang외 1명|arXiv (Cornell University)|2018. 07. 03.

Human Pose and Action Recognition참고 문헌 23인용 수 9

한 줄 요약

이 논문은 개인 간의 고차원 상관관계, 쌍별 상호작용, 집단 활동을 초그래프 기반 모델링을 통해 다중 인물 추적과 활동 인식을 동시에 최적화하는 부트스트랩 프레임워크를 제안한다. 다단계 베이지안 프레임워크 내에서 활동 인식 추적, 상호작용 인식을 통한 가림막 복구, 집단 활동 추론을 통합함으로써, 추적(최대 MOTA 85.3%)과 활동 인식(정확도 약 90%)에서 최신 기술 수준의 성능을 달성하며, 높은 가림막 상황에 대한 강건성과 실시간 처리(약 20 FPS)를 확보한다.

ABSTRACT

We present a bootstrapping framework to simultaneously improve multi-person tracking and activity recognition at individual, interaction and social group activity levels. The inference consists of identifying trajectories of all pedestrian actors, individual activities, pairwise interactions, and collective activities, given the observed pedestrian detections. Our method uses a graphical model to represent and solve the joint tracking and recognition problems via multi-stages: (1) activity-aware tracking, (2) joint interaction recognition and occlusion recovery, and (3) collective activity recognition. We solve the where and when problem with visual tracking, as well as the who and what problem with recognition. High-order correlations among the visible and occluded individuals, pairwise interactions, groups, and activities are then solved using a hypergraph formulation within the Bayesian framework. Experiments on several benchmarks show the advantages of our approach over state-of-art methods.

연구 동기 및 목표

• 기존의 검출 기반 추적 방법이 복잡한 사회적 역학과 그룹 상호작용을 모델링하지 못하는 한계를 해결한다.
• 추적과 인식을 동시에 최적화하여 다중 인물 활동 인식의 '누구', '무엇', '어디', '언제' 문제를 종합적으로 해결한다.
• 인식된 활동과 상호작용에서 유도된 고차원 상관관계를 활용해, 가림막 상황에서도 추적의 강건성을 향상시킨다.
• 카메라 캘리브레이션을 필요로 하지 않으며, 온라인 영상 처리를 지원하는 일반화 가능한 실시간 프레임워크를 개발한다.
• 쌍별 상호작용과 단단한 그룹 행동에 대한 구조적 의존성을 모델링하여 집단 활동(예: 그룹 횡단)의 정확한 인식을 가능하게 한다.

제안 방법

• 활동 인식 추적, 상호작용 인식 및 가림막 복구, 집단 활동 인식의 세 단계로 구성된 다이나믹 그래픽 모델을 사용하여 추적과 인식 문제를 수립한다.
• 베이지안 프레임워크 내에서 초그래프 공식을 사용해 가시 및 가려진 개인 간의 고차원 상관관계, 쌍별 상호작용, 집단 활동을 모델링한다.
• 두 가지 별도의 초그래프를 사용한다: $\mathcal{H}_{\mathcal{T}}$는 트랙릿 연관 향상을 위한 개인 활동 간 상관관계를 모델링하고, $\mathcal{H}_{\mathcal{R}}$는 가림막 복구를 위한 상호작용 기반 상관관계를 모델링한다.
• 초그래프 내에서 응집 클러스터 탐색을 적용하여 최적화 문제를 효율적으로 해결하고 일관된 궤적 및 활동 레이블을 추론한다.
• 신체 방향 감지와 같은 보조 입력을 통합하여 인식 및 추적 정확도를 향상시킨다.
• 향상된 추적 및 인식 결과를 반복적으로 사전 정보로 활용하여 상호 보완적으로 개선하는 부트스트랩 메커니즘을 구현한다.

실험 결과

연구 질문

• RQ1 개인 활동, 쌍별 상호작용, 집단 행동 간의 고차원 상관관계를 효과적으로 모델링하여 추적 및 인식 성능 향상을 이룰 수 있는가?
• RQ2 추적과 활동 인식을 동시에 최적화하는 것이, 순차적 또는 독립적 접근 방식에 비해 가림막 및 모호한 동작 처리에서 더 우수한 성능을 내는가?
• RQ3 일반 그래프 모델 대비 초그래프 공식이 복잡한 사회적 역학을 더 잘 포착하고, 인식 및 추적 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 프레임워크는 카메라 캘리브레이션 없이도 실시간 성능을 달성할 수 있는가?
• RQ5 $\mathcal{H}_{\mathcal{T}}$와 $\mathcal{H}_{\mathcal{R}}$ 초그래프의 기여도는 추적 강건성 향상과 인식 정확도 향상에 어떻게 다를까?

주요 결과

• 제안된 방법은 개인 활동 인식 정확도 약 90%를 달성하며, 집단 활동 인식 분야에서 최신 기술 수준의 방법들을 크게 능가한다.
• CAD 데이터셋에서 최고의 MOTA 점수(85.3%)를 기록했으며, 분할(분할 수), 정체성 전환, 재현율 등의 주요 추적 지표에서 모든 베이스라인을 압도한다.
• $\mathcal{H}_{\mathcal{R}}$ 초그래프를 사용한 상호작용 모델링이 $\mathcal{H}_{\mathcal{T}}$에 비해 성능 향상에 더 크게 기여하며, 특히 가림막 복구에서 두드러진다.
• 초그래프를 일반 그래프로 대체할 경우 추적 및 인식 성능가 뚜렷한 감소를 보이며, 고차원 상관관계 모델링의 필요성을 입증한다.
• 시각적 비교를 통해 추적 결과에서 높은 가림막 상황에서도 정체성 전환 수가 가장 적게 발생함을 확인하였으며, 뛰어난 강건성을 입증한다.
• 실시간으로 약 20 FPS 속도로 실행되어 온라인 영상 감시 및 상황 인식 응용 분야에 구현 가능하다.