[논문 리뷰] Learning to score the figure skating sports videos

Chengming Xu, Yanwei Fu외 4명|arXiv (Cornell University)|2018. 02. 08.

Human Pose and Action Recognition참고 문헌 64인용 수 7

한 줄 요약

이 논문은 전체 영상에서 피겨 스케이팅 점수를 예측하기 위해 Self-Attentive LSTM와 Multi-scale Convolutional Skip LSTM를 조합한 딥러닝 프레임워크를 제안한다. 이 모델은 국소적이고 전반적인 순차적 패턴을 효과적으로 포착하여 MIT-skate 및 새로 제안된 Fis-V 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 회귀 정확도와 스피어만 상관계수 모두에서 뚜렷한 향상을 보였다.

ABSTRACT

This paper targets at learning to score the figure skating sports videos. To address this task, we propose a deep architecture that includes two complementary components, i.e., Self-Attentive LSTM and Multi-scale Convolutional Skip LSTM. These two components can efficiently learn the local and global sequential information in each video. Furthermore, we present a large-scale figure skating sports video dataset -- FisV dataset. This dataset includes 500 figure skating videos with the average length of 2 minutes and 50 seconds. Each video is annotated by two scores of nine different referees, i.e., Total Element Score(TES) and Total Program Component Score (PCS). Our proposed model is validated on FisV and MIT-skate datasets. The experimental results show the effectiveness of our models in learning to score the figure skating videos.

연구 동기 및 목표

• 전문적인 피겨 스케이팅 영상의 점수를 학습하는 데 도전하는 것 — 이는 전문가 수준의 평가가 필요한 장시간이고 복잡한 공연을 이해해야 한다는 점에서 어렵다.
• 전체 스케이팅 공연에서 국소적인 기술 동작(TES)과 전반적인 예술적 해석(PCS)을 모두 포착할 수 있는 모델을 개발하는 것.
• 연구를 위해 사용할 수 있는 대규모이고 고품질의 비디오 데이터셋을 구축하여 전문가가 TES 및 PCS 점수를 주석 처리한 자료를 제공하는 것.
• 기존 및 새로 수집한 데이터셋에서 제안된 모델의 효과성을 평가하여 기준 모델 대비 뛰어난 성능을 입증하는 것.

제안 방법

• Self-Attentive LSTM(S-LSTM)는 국소적 순차적 패턴에 중점을 두고, 중요도를 가중치로 부여하는 자기주의 주의(self-attention) 메커니즘을 사용하여 클립 수준의 특징을 회귀에 활용한다.
• Multi-scale Convolutional Skip LSTM(M-LSTM)는 수정된 스킵-LSTM 아키텍처를 사용하여 다중 척도에서 국소적 및 전반적인 시간적 의존성을 모델링함으로써 계산 비용을 절감한다.
• 두 하위 네트워크는 독립적으로 사용하거나 종단 간(end-to-end) 프레임워크로 결합하여 TES 및 PCS 점수의 동시 회귀를 수행할 수 있다.
• 모델은 C3D 특징을 입력으로 사용하여 종단 간으로 훈련되며, 최대 풀링 또는 평균 풀링과 선형 SVR을 사용하여 회귀를 수행한다.
• 평균 제곱오차(MSE)와 스피어만 상관계수를 사용하여 평가하며, 주의 메커니즘과 특징 유형에 대한 분석 연구를 수행한다.
• Fis-V 데이터셋은 전문 대회 영상에서 구성되었으며, 500개의 고품질 클립으로 이루어져 있으며 평균 길이가 2:50이며, 각 클립이 9명의 국제 심판에 의해 주석 처리되었다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 전체 영상 공연에서 전문가의 피겨 스케이팅 점수를 효과적으로 예측할 수 있는가?
• RQ2 자기주의 주의와 다중 척도 모델링은 스케이팅 점수의 기술적 요소와 예술적 요소를 포착하는 데 어떻게 기여하는가?
• RQ3 이 회귀 작업에서 다양한 특징 추출 방법(예: C3D 대비 SENet)의 상대적 성능은 어떠한가?
• RQ4 S-LSTM와 M-LSTM를 조합하면 성능 향상이 이루어지는가? 만약 그렇다면, 어떤 점수 유형(TES 대비 PCS)에서 성능 향상이 나타나는가?
• RQ5 모델의 주의 메커니즘이 핵심 공연 순간에 대한 인간 전문가 평가와 얼마나 일치하는가?

주요 결과

• 제안된 M-LSTM 및 S-LSTM 모델은 모두 MIT-skate 및 Fis-V 데이터셋에서 기준 모델을 크게 능가하여 스피어만 상관계수와 MSE 측면에서 뛰어난 성능을 보였다.
• Fis-V 데이터셋에서 M-LSTM만으로도 최고의 성능을 기록하였으며, PCS의 경우 스피어만 상관계수 0.853, TES의 경우 0.781을 기록하였다.
• S-LSTM와 M-LSTM의 조합은 PCS 성능을 더욱 향상시켰다(Spearman 0.853) 하지만 TES에서는 유의미한 향상이 없었으며, 이는 기술 점수에 대한 특징 학습이 중복됨을 시사한다.
• Fis-V 데이터셋에서는 평균 풀링이 최대 풀링보다 우수했지만, MIT-skate에서는 반대로 최대 풀링이 더 우수했으며, 이는 풀링 전략이 데이터셋에 따라 민감함을 보임을 나타낸다.
• 클립 기반이고 운동 인식이 가능한 C3D 특징는 정적 프레임 기반의 SENet 특징보다 더 우수한 성능을 보였으며, 이는 스케이팅 영상 분석에서 시간적 모델링의 중요성을 강조한다.
• 자기주의 주의 메커니즘은 복잡한 점프와 같은 고영향 기술 동작에 더 높은 주의 가중치를 할당함으로써 성공적으로 이를 식별하였으며, 정성적 시각화 분석을 통해 검증되었다.