[論文レビュー] Localization of Ice-Rink for Broadcast Hockey Videos

Mehrnaz Fani, Pascale Walters+3 more|arXiv (Cornell University)|Apr 22, 2021

Video Analysis and Summarization参考文献 13被引用数 6

ひとこと要約

本論文は、各フレームごとに4つのコントロールポイントを予測するResNet18ベースの回帰器を用い、ホモグラフィ推定のジターリングを解消するためのハン窓ベースの軌道スムージングを適用することで、放送映像における自動アイススケートリンクの局所化を実現するシンプルだが効果的なフレームワークを提案する。この手法は、正確性を損なわず、安定的で視覚的に連続的な結果を達成しており、新たに収集したホッケー映像データセットを用いた検証で、平均IOUが94.65%、スムージング後の滑らかさスコアが32.86ポイント低下した。

ABSTRACT

In this work, an automatic and simple framework for hockey ice-rink localization from broadcast videos is introduced. First, video is broken into video-shots by a hierarchical partitioning of the video frames, and thresholding based on their histograms. To localize the frames on the ice-rink model, a ResNet18-based regressor is implemented and trained, which regresses to four control points on the model in a frame-by-frame fashion. This leads to the projection jittering problem in the video. To overcome this, in the inference phase, the trajectory of the control points on the ice-rink model are smoothed, for all the consecutive frames of a given video-shot, by convolving a Hann window with the achieved coordinates. Finally, the smoothed homography matrix is computed by using the direct linear transform on the four pairs of corresponding points. A hockey dataset for training and testing the regressor is gathered. The results show success of this simple and comprehensive procedure for localizing the hockey ice-rink and addressing the problem of jittering without affecting the accuracy of homography estimation.

研究の動機と目的

• スポーツ動画分析におけるフレーム単位のホモグラフィ推定におけるジターリング問題に対処すること。
• 放送映像からのホッケー・アイススケートリンク局所化のための堅牢でエンドツーエンドのパイプラインを構築すること。
• 今後の研究を支援するため、ホッケー動画のショット局所化用に公開可能な新規データセットを構築すること。
• 制御点の軌道をスムージングすることで、歪みを加えた動画シーケンスにおける視覚的連続性を向上させ、局所化の正確性を損なわないようにすること。

提案手法

• ビデオショットの境界検出は、しきい値に基づくヒストグラム法を用いて実施され、動画をショットに分割する。
• 各入力フレームに対して、アイススケートリンクモデル上の4つのコントロールポイントを予測するため、ResNet18ベースの回帰器を訓練する。
• 連続するフレーム間のコントロールポイントの軌道は、ハン窓による畳み込みを用いてスムージングされ、ジターリングを低減する。
• スムージングされたホモグラフィ行列は、4つのスムージング済みコントロールポイントペアを用いて、直接線形変換（DLT）アルゴリズムにより計算される。
• 各ビデオショットは個別に処理され、ショット内での時間的整合性が保証される。
• 72本のホッケー・ビデオショット、キーフレーム、および正解ホモグラフィを含む新規データセットを収集し、学習および評価に使用する。

実験結果

リサーチクエスチョン

• RQ1 シンプルなフレーム単位の回帰アプローチは、放送ホッケー映像における正確なアイススケートリンク局所化を達成できるか？
• RQ2 予測されたコントロールポイントの軌道スムージングは、正確性を損なわず、ホモグラフィ推定のジターリングを効果的に低減できるか？
• RQ3 本手法のスムージングは、最先端の手法と比較して、局所化の正確性と視覚的滑らかさの両面で優れているか？
• RQ4 独自に構築したホッケー動画データセットの使用は、局所化フレームワークの一般化性能と信頼性をどの程度向上させるか？

主な発見

• スムージング後の平均IOUは94.65%に達し、高い局所化正確性を示している。
• すべてのテストショットにおける平均スムージングスコアは、スムージング前（140.02）からスムージング後（107.15）に低下し、32.86ポイントの改善を示した。
• スムージング処理により、コントロールポイントの軌道におけるジターリングが顕著に低減され、図2で視覚的にも確認された。これにより、動画の歪み処理が滑らかになった。
• スムージング後でも正確性に顕著な低下がなく、IOUや予測点の分散に大きな変化がなかったため、本手法の堅牢性が裏付けられた。
• 正解ホモグラフィを備えた72ショット分の新規ホッケー動画データセットは公開されており、再現可能な評価が可能である。
• SFFベースラインと比較して、本手法はより高いIOU（94.65 対 90.1）と優れた滑らかさを達成しており、視覚的品質の優位性が確認された。