[論文レビュー] SFU-HW-Tracks-v1: Object Tracking Dataset on Raw Video Sequences

Takehiro Tanaka, Hyomin Choi+1 more|arXiv (Cornell University)|Dec 30, 2021

Video Surveillance and Tracking Methods被引用数 5

ひとこと要約

本論文は、圧縮されていないHEVC Common Test Condition（CTC）動画シーケンスに基づく新しいオブジェクト追跡データセット、SFU-HW-Tracks-v1を紹介する。13のシーケンスについて、フレームごとのアノテーションを提供し、個々のオブジェクトに固有のIDを割り当てる。このデータセットは、SFU-HW-Objects-v1を拡張し、半自動手法を用いて外見の類似性（正規化相互相関）と手動確認を組み合わせることで、IDを保持するアノテーションを提供することで、動画オブジェクト追跡モデルの学習と評価を可能にする。

ABSTRACT

We present a dataset that contains object annotations with unique object identities (IDs) for the High Efficiency Video Coding (HEVC) v1 Common Test Conditions (CTC) sequences. Ground-truth annotations for 13 sequences were prepared and released as the dataset called SFU-HW-Tracks-v1. For each video frame, ground truth annotations include object class ID, object ID, and bounding box location and its dimensions. The dataset can be used to evaluate object tracking performance on uncompressed video sequences and study the relationship between video compression and object tracking.

研究の動機と目的

• 圧縮されていない動画シーケンスにおけるオブジェクト追跡のための、識別子が明示された公開可能で高品質なデータセットの不足を解消すること。
• 既存のSFU-HW-Objects-v1データセットに固有のオブジェクト識別子（ID）を追加することで、動画オブジェクト追跡モデルの学習と評価を可能にすること。
• 原始的な動画シーケンスに真値アノテーションを提供することで、動画圧縮がオブジェクト追跡性能に与える影響を調査すること。
• 動画コーディング for マシン（VCM）における標準化作業を支援するため、タスク固有で高精細なデータセットを提供すること。
• 外見の類似性と手動検証を組み合わせた再現可能で半自動のパイプラインを確立し、フレーム間で一貫したオブジェクト識別子を割り当てる方法を確立すること。

提案手法

• データセットは、クラスラベルとバウンディングボックスを提供するSFU-HW-Objects-v1を拡張することで構築された。各フレームごとに、オブジェクトごとに固有のIDを追加した。
• フレーム間でのオブジェクトIDの割り当ては、連続するフレーム間のバウンディングボックスの類似度を測るために正規化相互相関（NCC）を用いた。
• フレームnの各オブジェクトについて、フレームn+1における最高のNCCスコアを持つオブジェクトが、最も類似した対応物として選択された。スコアの閾値は0.6（0.55〜0.75の範囲で調整可能）とし、有効な一致を判定した。
• NCCスコアが閾値未満の場合、Yolo_markを用いたアノテーション可視化による視覚的検証の上、手動で新しいIDが割り当てられた。
• 初めて出現するオブジェクト、または遮蔽後に再出現するオブジェクトには、新しいIDが割り当てられ、この場合のNCCスコアは、過去の一致がないことを示すために-1に設定された。
• アノテーションプロセスは、フレーム単位で実行され、半自動のワークフローに従い、シーケンス全体にわたる一貫性のあるオブジェクト識別子の追跡を保証した。

実験結果

リサーチクエスチョン

• RQ1 識別子が明示されたアノテーションを備えた原始的な圧縮されていない動画シーケンス上で、オブジェクト追跡性能をどのように評価できるか？
• RQ2 動画圧縮はオブジェクト追跡の正確性にどの程度影響を与えるか？原始的な動画に真値アノテーションを提供することで、この影響をどのように調査できるか？
• RQ3 外見の類似性と手動確認を組み合わせた半自動手法が、フレーム間で信頼性があり一貫性のあるオブジェクトIDの割り当てを可能にするか？
• RQ4 オブジェクトの外見の変化や遮蔽が追跡性能に与える影響は何か？また、ベンチマークデータセットでこの影響をどのようにモデル化できるか？
• RQ5 固有のオブジェクトIDが含まれることで、クラスラベルのみを備えたデータセットと比較して、動画オブジェクト追跡モデルの学習とテストの実現可能性がどの程度向上するか？

主な発見

• SFU-HW-Tracks-v1データセットは、13のHEVC CTC動画シーケンスについて真値アノテーションを含み、各フレームごとにオブジェクトクラスID、固有のオブジェクトID、および正規化されたバウンディングボックス座標（x, y, w, h）が提供される。
• このデータセットは、オブジェクト識別子が存在しなかった前回のSFU-HW-Objects-v1データセットでは不可能だった、動画オブジェクト追跡モデルの学習と評価を可能にする。
• 半自動アノテーションパイプラインは、NCCベースのマッチング（閾値0.6）と手動補正を組み合わせることで、一貫性のあるオブジェクトIDの割り当てを達成した。
• 外見の類似度が高い場合、オブジェクトIDはフレーム間で保持された。一方、オブジェクトがシーンに出現するか、遮蔽後に再出現する場合には新しいIDが割り当てられた。
• このデータセットはhttps://doi.org/10.17632/d5cc83ks6cで公開されており、動画コーディング for マシン（VCM）における再現可能で標準化された研究を支援する。
• 各シーケンスには4〜6つのオブジェクトクラスが含まれ、クラスIDはCOCOオブジェクトカテゴリにマッピングされており、動き、遮蔽、スケール変化を含む多様な追跡シナリオをサポートする。