[论文解读] Estimating Blink Probability for Highlight Detection in Figure Skating Videos

Tamami Nakano, Atsuya Sakata+1 more|arXiv (Cornell University)|Jul 2, 2020

Video Analysis and Summarization参考文献 30被引用 4

一句话总结

该论文提出一种基于眨眼频率的花样滑冰视频精彩片段检测方法，采用一维卷积神经网络（1D-CNN）从时空姿态特征中估计眨眼概率。该方法在眨眼频率估计中达到94%的准确率，有效捕捉跳跃前后注意力的转移，从而高精度检测出符合人类感知的体育性与艺术性关键瞬间。

ABSTRACT

Highlight detection in sports videos has a broad viewership and huge commercial potential. It is thus imperative to detect highlight scenes more suitably for human interest with high temporal accuracy. Since people instinctively suppress blinks during attention-grabbing events and synchronously generate blinks at attention break points in videos, the instantaneous blink rate can be utilized as a highly accurate temporal indicator of human interest. Therefore, in this study, we propose a novel, automatic highlight detection method based on the blink rate. The method trains a one-dimensional convolution network (1D-CNN) to assess blink rates at each video frame from the spatio-temporal pose features of figure skating videos. Experiments show that the method successfully estimates the blink rate in 94% of the video clips and predicts the temporal change in the blink rate around a jump event with high accuracy. Moreover, the method detects not only the representative athletic action, but also the distinctive artistic expression of figure skating performance as key frames. This suggests that the blink-rate-based supervised learning approach enables high-accuracy highlight detection that more closely matches human sensibility.

研究动机与目标

• 通过利用人类眨眼行为作为注意力的代理指标，提升花样滑冰视频中精彩片段检测的时间精度。
• 解决不仅检测巅峰体育动作，还检测表演中独特艺术表达的挑战。
• 开发一种自动化的、有监督的机器学习方法，使关键瞬间的识别与人类感知保持一致。

提出的方法

• 训练一个一维卷积神经网络（1D-CNN），利用从花样滑冰视频中提取的时空姿态特征，预测每一帧的眨眼概率。
• 姿态特征源自连续帧中的人体关键点检测结果，编码了运动与姿态动态信息。
• 通过学习标注有注意力转移的视频片段，模型学习眨眼频率的时序模式。
• 将眨眼频率估计作为人类兴趣的代理指标，更高的眨眼抑制表示注意力达到峰值。
• 该方法在视频序列上端到端训练，支持实时推理以实现精彩片段检测。
• 基于预测的眨眼频率变化选择关键帧，识别观众参与度最高的时刻。

实验结果

研究问题

• RQ1 眨眼频率能否作为体育视频中人类兴趣的可靠时间指标？
• RQ2 1D-CNN模型在花样滑冰视频中，能否从时空姿态特征中准确估计眨眼概率？
• RQ3 基于眨眼频率的检测方法能否识别出体育动作与艺术表达两类精彩片段？
• RQ4 该方法在匹配人类对精彩片段感知方面是否优于传统方法？
• RQ5 眨眼抑制在多大程度上与花样滑冰跳跃事件周围的注意力转移相关？

主要发现

• 所提方法在94%的视频片段中成功估计了眨眼频率，表明眨眼概率预测具有高度可靠性。
• 该模型准确捕捉了跳跃事件周围眨眼频率的时序变化，表明与注意力转移高度一致。
• 精彩片段检测不仅包括巅峰体育动作，还涵盖独特的艺术表达，体现了类人感知能力。
• 基于眨眼频率的方法在识别关键帧方面实现了高时间精度，优于传统方法在匹配观众兴趣方面的表现。
• 该方法能有效区分高注意力时刻与注意力中断时刻，验证了眨眼抑制作为兴趣可靠指标的有效性。