[논문 리뷰] Hierarchical Deep Temporal Models for Group Activity Recognition

Mostafa S. Ibrahim, S. Muralidharan외 3명|arXiv (Cornell University)|2016. 07. 09.

Human Pose and Action Recognition참고 문헌 14인용 수 17

한 줄 요약

이 논문은 개인 수준의 LSTMs를 통해 개별 인물의 행동을 모델링하고 시간 풀링을 사용하여 그들을 그룹 수준 표현으로 집계함으로써 군집 활동 인식을 위한 이중 단계 계층적 딥 LSTMs 모델을 제안한다. 이 방법은 새로운 볼링볼 데이터셋에서 81.9%의 정확도를 달성하여 강력한 수작업 특징 기반 기준 모델을 능가하며, 공간-시간 역학의 구조적 계층적 모델링을 통해 일반화 능력 향상을 보여준다.

ABSTRACT

In this paper we present an approach for classifying the activity performed by a group of people in a video sequence. This problem of group activity recognition can be addressed by examining individual person actions and their relations. Temporal dynamics exist both at the level of individual person actions as well as at the level of group activity. Given a video sequence as input, methods can be developed to capture these dynamics at both person-level and group-level detail. We build a deep model to capture these dynamics based on LSTM (long short-term memory) models. In order to model both person-level and group-level dynamics, we present a 2-stage deep temporal model for the group activity recognition problem. In our approach, one LSTM model is designed to represent action dynamics of individual people in a video sequence and another LSTM model is designed to aggregate person-level information for group activity recognition. We collected a new dataset consisting of volleyball videos labeled with individual and group activities in order to evaluate our method. Experimental results on this new Volleyball Dataset and the standard benchmark Collective Activity Dataset demonstrate the efficacy of the proposed models.

연구 동기 및 목표

• 영상 내에서 개인 간 복잡한 공간-시간 관계에 의해 영향을 받는 군집 수준의 레이블을 다루는 군집 활동 인식의 과제를 해결하기 위해.
• 수작업 특징 및 얕은 모델이 개인 및 군집 수준에서 계층적 시간 역학을 포착하는 데에 한계가 있음을 극복하기 위해.
• 개별 행동 역학을 명시적으로 모델링하고 이를 군집 활동 분류를 위해 집계하는 딥 러닝 아키텍처를 설계하기 위해.
• 개별 및 군집 활동에 대해 세밀하게 레이블이 붙은 볼링볼 영상의 대규모 신규 데이터셋을 활용해 모델을 평가하기 위해.
• 계층적 모델링이 통합적 또는 비계층적 딥 러닝 접근 방식보다 성능 향상을 이끌어내는지 입증하기 위해.

제안 방법

• 모델은 이중 단계 아키텍처를 사용한다: 먼저 개별 인물의 궤적은 별도의 LSTMs를 통해 개인 수준 행동 역학을 학습한다.
• 둘째, 개인 수준 LSTMs의 출력은 최대 풀링 또는 평균 풀링을 통해 집계되어 군집 활동 인식을 위한 시나리오 수준 표현을 형성한다.
• 군집 수준의 LSTMs는 시간에 따라 풀링된 표현을 처리하여 총괄적인 군집 활동을 분류한다.
• 모델은 배경 잡음을 줄이기 위해 검출 및 추적된 사람들을 입력으로 사용하며, 경계 상자에서 특징을 추출한다.
• 모델은 시간적 순서의 개인 수준 특징을 사용해 엔드 투 엔드로 훈련되며, 하이퍼파ram터는 LSTMs의 노드 수와 타임스텝 수에 대한 분석 실험을 통해 조정된다.
• 개인 및 군집 활동에 대해 레이블이 붙은 1000개의 영상 클립을 포함한 새로운 볼링볼 데이터셋을 수집하였다.

실험 결과

연구 질문

• RQ1 계층적 딥 러닝 모델이 군집 활동 인식을 위해 개인 수준 및 군집 수준의 시간 역학을 효과적으로 포착할 수 있는가?
• RQ2 개별 행동을 집계하기 전에 모델링하는 것이 통합 영상 수준 분류에 비해 성능 향상을 이끌어내는가?
• RQ3 풀링 전략 선택(최대 풀링 대비 평균 풀링)이 군집 활동 작업의 정확도에 어떤 영향을 미치는가?
• RQ4 계층적 모델링이 유사한 군집 활동(예: 왼쪽 팀과 오른쪽 팀의 행동) 간 혼동을 어느 정도 줄이는가?
• RQ5 향상된 밀도 궤적(IDTF)과 같은 강력한 수작업 특징 기반 기준 모델에 비해 제안된 모델은 어떻게 비교되는가?

주요 결과

• 제안된 이중 단계 계층적 LSTMs 모델은 새로운 볼링볼 데이터셋에서 81.9%의 정확도를 달성하여 향상된 밀도 궤적 기준 모델(73.4%)을 크게 능가한다.
• 왼쪽 팀과 오른쪽 팀이라는 두 하위 그룹을 활용한 표현 학습은 왼쪽 및 오른쪽 승점 행동 간 혼동을 줄여 분류의 강건성을 향상시킨다.
• 군집 수준 레이어에 3000개의 LSTMs 노드와 3000개의 타임스텝을 사용한 모델이 가장 높은 정확도(81.9%)를 기록하여 이 작업에 최적의 용량임을 시사한다.
• 분석 실험 결과, LSTMs 노드 수를 늘릴수록 성능 향상이 이루어지지만, 3000개 노드를 초과하면 수익 감소 효과가 나타나며, 이는 최적의 성능에 도달함을 의미한다.
• 모델은 이전 연구에서 흔히 발생했던 세트 및 패스 행동 간 혼동 문제를 해결했으며, 더 나은 시간 역학 모델링과 더 많은 훈련 데이터 덕분일 것이다.
• 시각화 결과 모델이 대부분의 시나리오를 정확히 분류함을 확인했으며, 실패의 주요 원인은 모호한 행동 사례 또는 왼쪽/오른쪽 팀 오류 분류에 기인한다.