[논문 리뷰] Learning Person Trajectory Representations for Team Activity Analysis

Nazanin Mehrasa, Yatao Zhong외 3명|arXiv (Cornell University)|2017. 06. 03.

Human Pose and Action Recognition참고 문헌 28인용 수 10

한 줄 요약

이 논문은 팀 스포츠에서 선수 이동을 바탕으로 시공간적 궤적 표현을 학습하는 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 이는 개인의 행동과 집단적 그룹 역학을 모두 분석할 수 있도록 한다. 궤적 시퀀스에 스택드 1D 컨볼루션 신경망을 적용함으로써, 수작업으로 만든 특징들보다 뛰어난 성능을 보이며 NHL 및 NBA 데이터셋에서 팀 식별과 이벤트 분류 작업에서 높은 정확도를 달성한다.

ABSTRACT

Activity analysis in which multiple people interact across a large space is challenging due to the interplay of individual actions and collective group dynamics. We propose an end-to-end approach for learning person trajectory representations for group activity analysis. The learned representations encode rich spatio-temporal dependencies and capture useful motion patterns for recognizing individual events, as well as characteristic group dynamics that can be used to identify groups from their trajectories alone. We develop our deep learning approach in the context of team sports, which provide well-defined sets of events (e.g. pass, shot) and groups of people (teams). Analysis of events and team formations using NHL hockey and NBA basketball datasets demonstrate the generality of our approach.

연구 동기 및 목표

• 다양한 사람들의 활동에서 개인의 행동과 집단적 역학을 모두 코딩하는 궤적 표현을 학습하는 엔드 투 엔드 딥 러닝 접근법을 개발하기 위해.
• 운동 흐릿함과 빠른 선수 이동으로 인해 시각적 특징만으로는 부족한 복잡한 팀 스포츠를 분석하는 과제를 해결하기 위해.
• 세계 좌표계에서의 원시 선수 궤적에서 풍부한 시공간적 의존성을 학습하여 개인 이벤트와 집단적 팀 행동을 모두 인식할 수 있도록 하기 위해.
• 하키와 농구를 포함한 다양한 팀 스포츠에 대해 이론의 일반성과 강건성을 입증하기 위해.
• 시각적 외형이나 개체 수준의 특징에 의존하지 않고 궤적 기반 표현이 팀 식별을 위해 특징적인 집단 역학을 효과적으로 포착할 수 있음을 보여주기 위해.

제안 방법

• 선수들의 시간에 따른 2차원 궤적 데이터(좌표 x, y) 시퀀스에 1D 컨볼루션 신경망(CNN)을 적용하여 시공간적 특징을 학습한다.
• 층수를 늘리고 각 층의 필터 수를 증가시키며, ReLU 활성화 함수와 최대 풀링을 층 간에 적용하는 스택드 아키텍처를 사용한다.
• 입력 궤적 시퀀스는 다중 컨볼루션 층을 거친 후 글로벌 평균 풀링과 완전 연결 층을 거쳐 분류된다.
• 교차 엔트로피 손실을 사용하여 궤적 시퀀스에서 팀 정체성과 이벤트 유형을 예측하도록 네트워크를 엔드 투 엔드로 훈련한다.
• 첫 번째 컨볼루션 층의 필터를 시각화하여 'Z', 'S', 'M', 또는 'W' 형태와 같은 특정 운동 역학에 대응하는 학습된 시간 패턴을 해석한다.
• 이러한 방법은 이벤트(예: 패assing, 슛)와 팀 구성에 대한 주석이 달린 NHL 및 NBA 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 원시 선수 궤적 시퀀스의 딥 러닝이 팀 스포츠에서 개인 이벤트 패턴과 집단적 그룹 역학을 효과적으로 포착할 수 있는가?
• RQ2 시각적 외형이나 개체 수준의 특징에 의존하지 않고 궤적 기반 표현이 단지 팀을 식별하는 데 얼마나 효과적인가?
• RQ3 다양한 아키텍처 선택(예: 층 수, 필터 크기, 필터 수)이 팀 및 이벤트 인식 성능에 어떤 영향을 미치는가?
• RQ4 첫 번째 컨볼루션 층에서 학습된 필터가 팀이나 이벤트를 구분하는 의미 있는 시간적 운동 패턴을 반영하는가?
• RQ5 집단 수준의 역학을 포착하는 데 있어 수작업으로 만든 궤적 특징(IDT 등)에 비해 제안된 방법이 얼마나 우수한가?

주요 결과

• 5conv 모델은 팀 정체성 분류에서 24.78%의 정확도와 게임 기반 정확도 95.91%를 기록했으며, IDT 기준선(각각 5.74% 및 9.10%)을 크게 앞서는 성능을 보였다.
• 컨볼루션 층의 수를 늘릴수록 성능 향상이 있었으며, 모든 깊이 변형 중에서 5conv 모델이 가장 우수한 성능을 기록했다.
• 작은 필터 크기(예: 3x3)를 사용할 경우 더 높은 성능을 보였고, 필터 크기를 9x9로 늘리자 정확도가 급격히 감소(14.13%)했다.
• 모델은 게임 기반 정확도 95.91%를 달성하여 전체 게임 동안 팀 식별의 강력한 일반화 및 일관성을 보였다.
• 첫 번째 층 필터의 시각화 결과, 'Z', 'S', 'M', 'W' 형태와 유사한 학습된 시간 패턴이 드러나, 모델이 의미 있는 운동 역학을 포착하고 있음을 시사했다.
• 모델은 65%의 드라이브 동안 보스턴 세리츠를 올바르게 식별했으며, 피크앤팝과 같은 전형적인 플레이에 대해 확신 있는 예측을 내놓아 팀 전용 전략에 대한 학습된 민감도를 보였다.