[논문 리뷰] A Hierarchical Deep Temporal Model for Group Activity Recognition

Moustafa Ibrahim, S. Muralidharan외 3명|arXiv (Cornell University)|2015. 11. 19.

Human Pose and Action Recognition참고 문헌 36인용 수 9

한 줄 요약

이 논문은 개인의 행동을 LSTMs를 사용해 먼저 모델링하고, 그 표현을 집계하여 집단 활동을 인식하는 두 단계의 계층적 딥 LSTM 모델을 제안한다. 이 모델은 집단 활동 데이터셋과 새로 도입된 배구 데이터셋에서 베이스라인 방법들을 능가하며, 개인 간의 시공간 관계를 체계적으로 모델링함으로써 정확도 향상을 보여준다.

ABSTRACT

In group activity recognition, the temporal dynamics of the whole activity can be inferred based on the dynamics of the individual people representing the activity. We build a deep model to capture these dynamics based on LSTM (long-short term memory) models. To make use of these ob- servations, we present a 2-stage deep temporal model for the group activity recognition problem. In our model, a LSTM model is designed to represent action dynamics of in- dividual people in a sequence and another LSTM model is designed to aggregate human-level information for whole activity understanding. We evaluate our model over two datasets: the collective activity dataset and a new volley- ball dataset. Experimental results demonstrate that our proposed model improves group activity recognition perfor- mance with compared to baseline methods.

연구 동기 및 목표

• 영상에서 그룹 활동을 인식하는 데 있어 개인 수준 및 집단 수준의 시간 동역학을 모델링함으로써 도전 과제를 해결하고자 한다.
• 사람들 간의 복잡한 시공간 관계를 포착하는 데에 제한을 받는 수작업 특징 및 浅층 모델의 한계를 극복하고자 한다.
• 개인 수준의 행동을 명시적으로 모델링하고 이를 고차원의 그룹 활동 표현으로 통합하는 딥 러닝 아키텍처를 개발하고자 한다.
• 기준 비교를 지원하기 위해 개인 수준 및 그룹 활동 레이블이 포함된 새로운 공개 배구 데이터셋을 만들고자 한다.
• 계층적 시간 모델링이 그룹 활동 인식 정확도 향상에 얼마나 효과적인지 평가하고자 한다.

제안 방법

• 두 단계의 딥 러닝 아키텍처를 제안한다: 첫 번째 단계는 개인의 외관 및 운동 특징 기반으로 추적된 사람들의 시간적 동역학을 LSTMs를 사용해 모델링한다.
• 두 번째 단계는 개인 수준 표현을 집계하고 총괄적인 그룹 활동을 추론하기 위해 다른 LSTM을 사용한다.
• 두 번째 단계의 LSTM 이전에 최대 풀링을 사용하여 개인 수준 특징을 조합하며, 제거 실험을 통해 최대 풀링이 평균 및 합 풀링보다 성능이 뛰어남을 확인했다.
• 모델은 사람 탐지 결과를 기반으로 영상 시퀀스에서 엔드 투 엔드로 훈련되며, 순차적 종속성을 포착하기 위해 시간 모델링을 사용한다.
• 영상 수준 및 개인 수준 평가를 지원하는 사람 수준 동작 레이블과 그룹 활동 레이블이 포함된 새로운 배구 데이터셋을 도입했다.
• 베이스라인 모델로는 이미지 분류, 개인 수준 분류, 이미지 또는 개인 특징을 사용한 시간 모델이 포함되며, 비교 평가에 사용된다.

실험 결과

연구 질문

• RQ1 개인 행동을 별도로 모델링하고 나서 이를 집계하는 계층적 딥 러닝 모델이 그룹 활동 인식 성능을 향상시킬 수 있는가?
• RQ2 개인 수준의 동역학을 명시적으로 모델링하는 것이 통합된 이미지 기반 접근 방식에 비해 집단 활동 인식에 얼마나 기여하는가?
• RQ3 첫 번째 단계(개인 수준)와 두 번째 단계(그룹 수준)의 LSTMs가 전체 성능에 기여하는 비율은 어떻게 되는가?
• RQ4 희박한 동적 그룹 행동과 빠른 카메라 운동을 특징으로 하는 새로운 도전적인 배구 데이터셋에서 모델의 성능은 어떠한가?
• RQ5 계층적 시간 모델링이 비계층적 또는 비시간적 베이스라인보다 그룹 활동 인식에 더 나은 성능을 내는가?

주요 결과

• 제안된 두 단계 계층적 LSTM 모델은 새로운 배구 데이터셋에서 51.1%의 정확도를 기록하며, 비시간적 이미지 분류 베이스라인(46.7%)을 포함한 모든 베이스라인 방법들을 능가한다.
• 제거 실험을 통해 첫 번째 단계 LSTM(개인 수준 모델링)이 두 번째 단계 LSTM보다 성능에 더 크게 기여하는 것으로 나타났으며, 첫 번째 LSTM을 제거하면 성능이 48.8%로 떨어졌다.
• 개인 수준 특징을 집계할 때 최대 풀링이 가장 우수한 성능을 보였으며, 합 및 평균 풀링은 일관되게 낮은 정확도를 기록했다.
• 혼동 행렬을 분석한 결과, '셋'과 '패스' 동작이 시각적 및 운동적 유사성으로 인해 가장 자주 오분류되었지만, 대부분의 그룹 활동에 대해 높은 전체 정확도를 유지했다.
• 배경 혼잡성과 카메라 운동에 대해 모델은 강건함을 보였으며, 사람을 명시적으로 모델링하지 않는 베이스라인(B4)의 성능이 37.4%로 열악한 것으로 나타났다. 반면, 사람 인식 시간 베이스라인(B5)은 이미지 분류 베이스라인(45.9%)과 거의 유사한 성능을 보였다.
• 새로운 배구 데이터셋은 공개 가능하며, 균형 잡힌 그룹 활동 레이블을 가지고 있지만, 개인 행동 레이블은 비균형적이며, 실제 장면에서 드문 동적 행동의 과제를 반영하고 있다.