[論文レビュー] Summarizing the performances of a background subtraction algorithm measured on several videos

Piérard, Sébastien, Van Droogenbroeck, Marc|arXiv (Cornell University)|Jan 1, 2020

Video Surveillance and Tracking Methods参考文献 17被引用数 5

ひとこと要約

本稿では、複数の動画にわたる背景差分法の性能を要約する理論的裏付けのある手法を提案する。標準的な算術平均に代わり、Fスコア、正確度、再現率などの性能指標間の関係を保つ確率的整合性のあるアプローチを採用する。受容者操作特性（ROC）空間と精密再現率（PR）空間の整合性を保ち、解釈可能性の問題を回避する。CDNET 2014を用いた実証的検証により、従来の平均化手法と比較して顕著なランク付けの変化が示された。

ABSTRACT

There exist many background subtraction algorithms to detect motion in videos. To help comparing them, datasets with ground-truth data such as CDNET or LASIESTA have been proposed. These datasets organize videos in categories that represent typical challenges for background subtraction. The evaluation procedure promoted by their authors consists in measuring performance indicators for each video separately and to average them hierarchically, within a category first, then between categories, a procedure which we name "summarization". While the summarization by averaging performance indicators is a valuable effort to standardize the evaluation procedure, it has no theoretical justification and it breaks the intrinsic relationships between summarized indicators. This leads to interpretation inconsistencies. In this paper, we present a theoretical approach to summarize the performances for multiple videos that preserves the relationships between performance indicators. In addition, we give formulas and an algorithm to calculate summarized performances. Finally, we showcase our observations on CDNET 2014.

研究の動機と目的

• 複数の動画にわたる背景差分法の性能要約における理論的根拠の欠如を是正すること。
• 算術平均化による不整合を是正すること。算術平均化は、正確度、再現率、Fスコアなどの性能指標間の関係を破壊する。
• 要約された性能指標において、受容者操作特性（ROC）空間と精密再現率（PR）空間の全単射関係を保つこと。
• 解釈可能性と一貫性を維持する確率的根拠に基づいた要約フレームワークを提供すること。
• CDNET 2014ベンチマークを用いて、新手法がアルゴリズムのランク付けに与える影響を示すこと。

提案手法

• 動画レベルの性能指標（例：真正陽性率、正確度）の裏にある確率的実験を定義し、画素レベルの結果に確率を割り当てる。
• 各動画に重みを割り当てることで、複数の動画への確率的実験の一般化を行い、要約のための統一された確率的モデルを構築する。
• 個々の動画の指標（TP, FP, FN, TN）の重み付き和から要約された指標（例：Fスコア、誤差率）を導出する。数学的整合性を保証する。
• 要約レベルでの調和平均に類似したFスコアを計算するための式 $\text{F}(\mathbb{V}) = \frac{2\text{I}_{\{\text{tp}\}}(\mathbb{V})}{\text{I}_{\{\text{fp}\}}(\mathbb{V}) + \text{I}_{\{\text{fn}\}}(\mathbb{V}) + 2\text{I}_{\{\text{tp}\}}(\mathbb{V})}$ を使用する。
• 全データセットを再処理せずに、各動画のカウントから直接要約指標を計算するアルゴリズムを実装し、計算効率を確保する。

実験結果

リサーチクエスチョン

• RQ1 複数の動画にわたる性能指標の算術平均化は、正確度、再現率、Fスコアの間の内在的関係を破壊するか？
• RQ2 理論的整合性のある要約手法は、ROC空間とPR空間の間の全単射関係を保つことができるか？
• RQ3 要約手順の選択が、背景差分法のアルゴリズムランクにどのように影響するか？
• RQ4 確率的根拠に基づいた要約フレームワークは、複数動画評価における解釈可能性と一貫性を向上させることができるか？

主な発見

• 従来のCDNET手順（算術平均に基づく）では、Fスコアに不整合が生じる。算術平均のFスコアは0.69である一方、平均化された正確度と再現率の調和平均は0.75であり、根本的な不整合が示された。
• 算術平均化はROC空間とPR空間の間の全単射関係を破壊し、PR空間で達成不可能な性能点を生じる可能性がある。
• 提案手法は、要約レベルにおける性能指標間の数学的関係を保ち、異なる評価空間間での整合性を確保する。
• CDNET 2014において、新規要約手順によりアルゴリズムのランク付けが変化した。例えば、IUTIS-5はランク2から3に低下し、WisenetMDはランク4から10に低下した。相対的性能評価に顕著な影響を与えた。
• 新手法はROC空間とPR空間の両方で一貫性のある結果を生み出し、CDNET手順とは異なり、達成不可能な性能点を生じない。
• 提案されたアルゴリズムにより、全データセットの再処理を必要とせず、各動画のカウントのみから要約指標を効率的に計算できる。