[論文レビュー] Estimating Blink Probability for Highlight Detection in Figure Skating Videos

Tamami Nakano, Atsuya Sakata+1 more|arXiv (Cornell University)|Jul 2, 2020

Video Analysis and Summarization参考文献 30被引用数 4

ひとこと要約

本論文では、スパatiotemporalなポーズ特徴から1次元畳み込みニューラルネットワーク（1D-CNN）を用いてまばたき確率を推定することで、フィギュアスケート動画におけるハイライト検出にまばたきレートを用いる手法を提案する。この手法は、まばたきレート推定で94％の正確性を達成し、ジャンプ周辺の注目シフトを効果的に捉えることができ、人間の認識と整合するアスリート的および芸術的ハイライトモーメントの高精度検出を可能にする。

ABSTRACT

Highlight detection in sports videos has a broad viewership and huge commercial potential. It is thus imperative to detect highlight scenes more suitably for human interest with high temporal accuracy. Since people instinctively suppress blinks during attention-grabbing events and synchronously generate blinks at attention break points in videos, the instantaneous blink rate can be utilized as a highly accurate temporal indicator of human interest. Therefore, in this study, we propose a novel, automatic highlight detection method based on the blink rate. The method trains a one-dimensional convolution network (1D-CNN) to assess blink rates at each video frame from the spatio-temporal pose features of figure skating videos. Experiments show that the method successfully estimates the blink rate in 94% of the video clips and predicts the temporal change in the blink rate around a jump event with high accuracy. Moreover, the method detects not only the representative athletic action, but also the distinctive artistic expression of figure skating performance as key frames. This suggests that the blink-rate-based supervised learning approach enables high-accuracy highlight detection that more closely matches human sensibility.

研究の動機と目的

• 人間のまばたき行動を注目度の代理指標として用いることで、フィギュアスケート動画におけるハイライト検出の時間的正確性を向上させること。
• ピークアスリートアクションだけでなく、パフォーマンスにおける特徴的な芸術的表現の検出という課題に取り組むこと。
• 人間の感覚と整合する自動的で教師あり学習の手法を開発すること。

提案手法

• 1次元畳み込みニューラルネットワーク（1D-CNN）を、フィギュアスケート動画から抽出したスパティオトロピカルなポーズ特徴を用いて、各動画フレームにおけるまばたき確率を予測するように訓練する。
• ポーズ特徴は、連続する複数フレームにおける人体キーポイント検出から得られ、動きとポージングのダイナミクスを符号化する。
• 注目シフトがアノテートされた動画クリップから学習することで、まばたきレートの時間的パターンをモデルが学習する。
• まばたき抑制が高くなると注目度がピークに達するとみなされ、まばたきレート推定が人間の関心の代理指標として用いられる。
• モデルは動画シーケンス全体をエンドツーエンドで訓練し、ハイライト検出に向けたリアルタイム推論を可能にする。
• 予測されたまばたきレートの変化に基づいてキーフレームが選択され、視聴者の関与度が高まる瞬間が特定される。

実験結果

リサーチクエスチョン

• RQ1 まばたきレートは、スポーツ動画における人間の関心の信頼できる時間的指標として機能するか？
• RQ2 1D-CNNモデルは、フィギュアスケートにおけるスパティオトロピカルなポーズ特徴からまばたき確率をどれほど正確に推定できるか？
• RQ3 まばたきレートに基づく検出は、アスリート的アクションと芸術的表現の両方をハイライトとして特定できるか？
• RQ4 本手法は、人間のハイライトモーメント認識と比較して、従来の手法を上回る性能を示すか？
• RQ5 フィギュアスケートのジャンプイベント周辺において、どの程度まばたき抑制が注目シフトと相関しているか？

主な発見

• 提案手法は、動画クリップの94％でまばたきレートを正確に推定し、まばたき確率予測の信頼性が非常に高いことを示している。
• モデルはジャンプイベント周辺でのまばたきレートの時間的変化を正確に捉えており、注目シフトと強い整合性を示している。
• ハイライト検出には、ピークアスリートアクションだけでなく、特徴的な芸術的表現も含まれており、人間の認識に類似した特徴を示している。
• まばたきレートに基づくアプローチは、キーフレームの特定において高い時間的正確性を達成し、視聴者の関心と一致する点で従来手法を上回っている。
• 本手法は、注目度の高い瞬間と注目が途切れる瞬間を効果的に区別できており、まばたき抑制が関心の強力な指標であることが裏付けられている。