[논문 리뷰] SPIN: A High Speed, High Resolution Vision Dataset for Tracking and Action Recognition in Ping Pong

Steven L. Schwarcz, Peng Xu외 5명|arXiv (Cornell University)|2019. 12. 13.

Human Pose and Action Recognition참고 문헌 43인용 수 5

한 줄 요약

이 논문은 탁구 경기의 고속(150 fps), 고해상도 스테레오 비디오 데이터셋인 SPIN을 소개한다. 이 데이터셋은 볼 트래킹, 인간 자세, 볼 스핀에 대한 정밀한 애너테이션을 포함한다. 또한 볼 스핀 분류 성능을 향상시키고, 물리 모델이 아닌 관찰 데이터에서 유도된 세 가지 별도의 스핀 유도 궤도 클러스터를 규명한 새로운 게이트드 리커런트 아키텍처를 제안한다. 이는 다중 작업 학습이 성능을 향상시킨다는 것을 입증한다.

ABSTRACT

We introduce a new high resolution, high frame rate stereo video dataset, which we call SPIN, for tracking and action recognition in the game of ping pong. The corpus consists of ping pong play with three main annotation streams that can be used to learn tracking and action recognition models -- tracking of the ping pong ball and poses of humans in the videos and the spin of the ball being hit by humans. The training corpus consists of 53 hours of data with labels derived from previous models in a semi-supervised method. The testing corpus contains 1 hour of data with the same information, except that crowd compute was used to obtain human annotations of the ball position, from which ball spin has been derived. Along with the dataset we introduce several baseline models that were trained on this data. The models were specifically chosen to be able to perform inference at the same rate as the images are generated -- specifically 150 fps. We explore the advantages of multi-task training on this data, and also show interesting properties of ping pong ball trajectories that are derived from our observational data, rather than from prior physics models. To our knowledge this is the first large scale dataset of ping pong; we offer it to the community as a rich dataset that can be used for a large variety of machine learning and vision tasks such as tracking, pose estimation, semi-supervised and unsupervised learning and generative modeling.

연구 동기 및 목표

• 고속, 고해상도 스테레오 비디오를 사용하여 스포츠에서 빠르게 움직이는 물체와 인간 행동을 연구하기 위한 대규모, 고정밀도 데이터셋을 구축하기.
• 데이터 수집 속도와 동일한 150 fps에서 실시간 온라인 추론 모델을 가능하게 하기.
• 탁구에서 볼 궤도, 인간 자세, 스핀 유형의 공동 예측을 위한 다중 작업 학습 탐색.
• 물리 기반 가정에 의존하지 않고 관찰 데이터에서 유도된 탁구 공 운동의 경험적 역학을 밝혀내기.
• 빠른 속도의 스포츠에서 트래킹, 자세 추정, 동작 인식을 위한 벤치마크 데이터셋과 베이스라인 모델 제공.

제안 방법

• SPIN 데이터셋은 150 fps(1024×1280 해상도)에서 53시간의 스테레오 비디오로 구성되며, 볼 위치, 인간 자세, 스핀 애너테이션은 이전 모델을 기반으로 반감독 방식으로 유도된다.
• 스핀 레이블은 직접 애너테이션 대신 진짜 볼 궤도에서 계산되므로 정밀한 스핀 분류가 가능하다.
• 베이스라인 모델로는 새로운 게이트드 리커런트 아키텍처(Convoluational-Gated-Sigmoid), 컨볼루션층이 있는 LSTMs, 단일 프레임 컨볼루션 모델이 포함된다.
• 모델은 다중 작업 학습으로 훈련되며, 볼 트래킹, 자세 추정, 스핀 분류 손실가중치를 3로 조합한다.
• 실시간 성능 최적화를 위해 베이어 패턴 입력을 사용하여 GPU 로딩 시간을 줄이고, 스테레오 쌍당 6.6ms(약 150 fps)를 유지한다.
• 학습 및 평가를 위해 'SPIN-OR'(온라인 재구성)와 'SPIN-ALL'(완전히 인간이 애너테이션한)로 데이터셋을 분할한다.

실험 결과

연구 질문

• RQ1 고속, 고해상도 스테레오 데이터셋은 탁구와 같은 빠른 속도의 스포츠에서 정확한 실시간 트래킹과 동작 인식을 가능하게 하는가?
• RQ2 볼 궤도, 인간 자세, 스핀 유형의 공동 예측을 위한 다중 작업 학습은 모델 성능을 어떻게 향상시키는가?
• RQ3 물리 모델이 아닌 관찰 데이터에서 도출된 탁구 공 운동에서 어떤 경험적 패턴이 드러나는가?
• RQ4 게이트드 아키텍처를 사용한 순환 모델링이 볼 운동과 스핀 예측에서 비순환 또는 표준 LSTM 아키텍처를 능가하는가?
• RQ5 인간 자세 정보는 스핀 분류를 얼마나 향상시키며, 스핀 예측은 자세 추정에 어떤 영향을 미치는가?

주요 결과

• 제안된 게이트드 리커런트 아키텍처는 표준 LSTMs와 단일 프레임 모델보다 볼 트래킹 성능이 뛰어나며, 특히 2픽셀 이내 정밀도 기준에서 뛰어나다.
• 단일 프레임 모델은 2픽셀 정밀도에서 놀랍게 잘 성능을 내지만, 5픽셀 허용 오차 기준에서는 순환 모델에 뒤지며, 이는 더 나은 가짜 양성 감소 성능을 의미한다.
• 자세를 보조 작업으로 사용할 경우 다중 작업 학습이 스핀 분류 성능을 향상시키지만, 볼 트래킹은 스핀 예측에 추가적인 이점을 제공하지는 않는다.
• 자세 추정은 고립적으로 훈련했을 때 가장 우수한 성능을 보이며, 스핀 또는 볼 트래킹과 함께 공동 훈련할 경우 성능 저하가 발생하여 작업 간 간섭이 있음을 시사한다.
• 'SPIN-ALL' 분할은 모든 작업에서 성능 향상을 크게 이끌어내어 고품질 인간 애너테이션 데이터가 모델 일반화 능력을 향상시킨다는 것을 보여준다.
• 관찰 데이터는 서로 다른 토파스핀 수준에 해당하는 세 가지 별도의 궤도 클러스터를 드러내며, 이는 이전 물리 모델이 예측하지 못한 패턴이다.