[논문 리뷰] Estimating Blink Probability for Highlight Detection in Figure Skating Videos

Tamami Nakano, Atsuya Sakata외 1명|arXiv (Cornell University)|2020. 07. 02.

Video Analysis and Summarization참고 문헌 30인용 수 4

한 줄 요약

이 논문은 도표 스케이팅 영상에서 블링 빈도 기반 방법을 제안하며, 1D-CNN를 사용해 공간-시간적 자세 특징에서 블링 확률을 추정한다. 이 방법은 블링 빈도 추정에서 94%의 정확도를 달성하고 점프 주변의 주의 이동을 효과적으로 포착하여 인간의 인식과 일치하는 육체적 및 예술적 핵심 순간을 고정밀도로 탐지한다.

ABSTRACT

Highlight detection in sports videos has a broad viewership and huge commercial potential. It is thus imperative to detect highlight scenes more suitably for human interest with high temporal accuracy. Since people instinctively suppress blinks during attention-grabbing events and synchronously generate blinks at attention break points in videos, the instantaneous blink rate can be utilized as a highly accurate temporal indicator of human interest. Therefore, in this study, we propose a novel, automatic highlight detection method based on the blink rate. The method trains a one-dimensional convolution network (1D-CNN) to assess blink rates at each video frame from the spatio-temporal pose features of figure skating videos. Experiments show that the method successfully estimates the blink rate in 94% of the video clips and predicts the temporal change in the blink rate around a jump event with high accuracy. Moreover, the method detects not only the representative athletic action, but also the distinctive artistic expression of figure skating performance as key frames. This suggests that the blink-rate-based supervised learning approach enables high-accuracy highlight detection that more closely matches human sensibility.

연구 동기 및 목표

• 인간의 블링 행동을 주의의 대체 지표로 활용하여 도표 스케이팅 영상의 하이라이트 탐지에서 시간적 정확도를 향상시키는 것.
• 정점 육체적 동작뿐만 아니라 공연에서의 독특한 예술적 표현까지 탐지하는 도전 과제를 해결하는 것.
• 인간의 감성과 일치하는 자동으로 학습되는 지도 학습 방법을 개발하는 것.

제안 방법

• 1차원 합성곱 신경망(1D-CNN)이 도표 스케이팅 영상에서 추출한 공간-시간적 자세 특징을 사용하여 각 영상 프레임에서의 블링 확률을 예측하도록 훈련된다.
• 자세 특징은 연속된 프레임들에서의 인간 관절 검출 결과에서 유도되며, 운동 및 자세의 역학을 인코딩한다.
• 영상 클립에 주의 이동이 주석 처리된 데이터를 기반으로 블링 빈도의 시간 패턴을 학습한다.
• 블링 빈도 추정은 인간의 관심을 대체 지표로 사용되며, 높은 블링 억제는 정점 주의를 나타낸다.
• 영상 시퀀스에 대해 엔드 투 엔드로 훈련되어 실시간 하이라이트 탐지에 적합한 인퍼런스를 가능하게 한다.
• 예측된 블링 빈도 변화를 바탕으로 핵심 프레임을 선별하여 시청자 참여도가 높은 순간을 식별한다.

실험 결과

연구 질문

• RQ1 블링 빈도는 스포츠 영상에서 인간의 관심을 신뢰할 만한 시간적 지표로 기능할 수 있는가?
• RQ2 1D-CNN 모델은 도표 스케이팅 영상에서 공간-시간적 자세 특징으로부터 블링 확률을 얼마나 정확하게 추정할 수 있는가?
• RQ3 블링 빈도 기반 탐지 방법은 육체적 기량 동작과 예술적 표현을 모두 하이라이트로 식별할 수 있는가?
• RQ4 기존의 전통적 방법에 비해 인간이 인식하는 하이라이트 순간과의 일치에서 이 방법은 우수한 성능을 보이는가?
• RQ5 도표 스케이팅에서 점프 이벤트 주변의 주의 이동과 블링 억제는 어느 정도 상관관계가 있는가?

주요 결과

• 제안된 방법은 영상 클립의 94%에서 블링 빈도를 성공적으로 추정하여 블링 확률 예측의 높은 신뢰성을 입증한다.
• 모델은 점프 이벤트 주변의 블링 빈도 변화를 정확히 포착하여 주의 이동과의 강한 일치를 보여준다.
• 하이라이트 탐지에는 정점 육체적 동작뿐만 아니라 독특한 예술적 표현까지 포함되어 인간과 유사한 인식을 반영한다.
• 블링 빈도 기반 접근은 핵심 프레임 식별에서 높은 시간적 정확도를 달성하여 기존의 방법보다 시청자 관심과의 일치에서 뛰어난 성능을 보인다.
• 이 방법은 높은 주의 집중과 주의 단절의 순간을 효과적으로 구분하여 블링 억제가 관심의 강력한 지표임을 검증한다.