[論文レビュー] One Metric to Measure them All: Localisation Recall Precision (LRP) for Evaluating Visual Detection Tasks

Kemal Öksüz, Barış Can Çam+2 more|arXiv (Cornell University)|Nov 21, 2020

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、視覚的検出タスクの評価のための統一的で包括的かつ解釈可能な指標として、ローカライゼーションリ call プレシジョン（LRP）エラーを導入する。AP（平均適合度）やパノプティック品質（PQ）の主な限界を克服する。LRP エラーは、局所化の正確さ、リ call、精度を1つの誤差スコアに統合して検出性能を定量化する。最適 LRP（oLRP）は、各検出器ごとの最良の信頼度しきい値を特定し、7つの検出タスクと10のデータセットにおいて、AP を上回る識別力を持つ。

ABSTRACT

Despite being widely used as a performance measure for visual detection tasks, Average Precision (AP) is limited in (i) reflecting localisation quality, (ii) interpretability and (iii) robustness to the design choices regarding its computation, and its applicability to outputs without confidence scores. Panoptic Quality (PQ), a measure proposed for evaluating panoptic segmentation (Kirillov et al., 2019), does not suffer from these limitations but is limited to panoptic segmentation. In this paper, we propose Localisation Recall Precision (LRP) Error as the average matching error of a visual detector computed based on both its localisation and classification qualities for a given confidence score threshold. LRP Error, initially proposed only for object detection by Oksuz et al. (2018), does not suffer from the aforementioned limitations and is applicable to all visual detection tasks. We also introduce Optimal LRP (oLRP) Error as the minimum LRP Error obtained over confidence scores to evaluate visual detectors and obtain optimal thresholds for deployment. We provide a detailed comparative analysis of LRP Error with AP and PQ, and use nearly 100 state-of-the-art visual detectors from seven visual detection tasks (i.e. object detection, keypoint detection, instance segmentation, panoptic segmentation, visual relationship detection, zero-shot detection and generalised zero-shot detection) using ten datasets to empirically show that LRP Error provides richer and more discriminative information than its counterparts. Code available at: https://github.com/kemaloksuz/LRP-Error

研究の動機と目的

• 視覚的検出タスクにおけるローカライゼーション品質、解釈可能性、しきい値選択への頑健性を反映しない平均適合度（AP）の限界を是正すること。
• 信頼度スコアを必要とせず、オブジェクト検出、キーポイント検出、インスタンスセグメンテーション、パノプティックセグメンテーション、ビジョナルリレーションシップ検出、ゼロショット検出を含む、すべての視覚的検出タスクに適用可能な統一された評価指標を提案すること。
• デプロイ用に最良の信頼度しきい値を特定する、しきい値最適化された性能測定指標として、最適 LRP（oLRP）エラーを導入すること。
• 実験的に、LRP エラーが多様な検出タスクとデータセットにおいて、AP や PQ よりも豊かでより識別力のある性能洞察を提供することを示すこと。

提案手法

• LRP エラーは、信頼度スコアしきい値を用いて、局所化誤差、偽陽性率、偽陰性率から計算される検出器の平均マッチング誤差として定義される。
• この指標は、IoU を用いた局所化品質、リ call（TP/(TP+FN)）、精度（TP/(TP+FP)）を1つの誤差スコアに統合し、低い値がより良い性能を示す。
• 最適 LRP（oLRP）エラーは、すべての信頼度スコアしきい値における LRP エラーの最小値として計算され、デプロイに最適なスコアを特定する。
• 本手法は、オブジェクト検出、インスタンスセグメンテーション、パノプティックセグメンテーション、ゼロショット検出を含む7つの視覚的検出タスクをカバーする10のデータセットにまたがる98の最先端検出器に適用された。
• ボックスとマスクのマッチングには IoU を用い、信頼度スコアを備えない検出器に対しても、しきい値に依存しない定式化を採用している。
• AP や PQ との比較的分析、しきい値感度のアブレーション、クラス別しきちい値化の分析を通じて、フレームワークの妥当性を検証した。

Figure 1 : Three different object detection results (for an image from COCO [ 1 ] ) with very different PR curves but the same AP. First Row : Blue, white and orange colors denote ground-truth, TPs and FPs respectively. Numbers are confidence scores, $s$ , of the detections. Second row : PR curves f

実験結果

リサーチクエスチョン

• RQ1 1つの指標が、多様な視覚的検出タスクにおいて、局所化、分類、検出品質を効果的に評価できるか？
• RQ2 LRP エラーは、完全性、解釈可能性、しきい値選択への頑健性において、AP や PQ より優れているか？
• RQ3 oLRP エラーは、異なる検出器やデータセットにおいて一貫して最適な信頼度しきい値を特定できるか？
• RQ4 AP が捉えられない性能差、特に局所化品質の差を、LRP エラーはどの程度明らかにできるか？
• RQ5 クラス別 LRP-最適しきい値は、長尾分布やゼロショット検出の状況で、検出器の性能を向上させることができるか？

主な発見

• LRP エラーは AP を上回る識別力を持つ：COCO における3つの検出結果の事例研究で、AP はすべての結果に対して同じ値を割り当てたが、LRP エラーは顕著に局所化品質が低い検出を正しくペナルティ化した。
• oLRP エラーは最適な信頼度しきい値を特定し、性能を大幅に向上させた：動画オブジェクト検出のユースケースでは、クラス別 oLRP しきい値が固定しきい値と比較して、AP50 を最大9ポイント、oLRP エラーを4ポイント改善した。
• クラス別に oLRP しきい値の分布は広範にわたる：LVIS のレアクラスの70％が oLRP しきい値 0.0 を示しており、長尾データセットでは固定しきい値が非効率であることが示された。
• ゼロショットおよび一般化ゼロショット検出では、未学習クラスに対して oLRP しきい値が一貫して低く、クラス別しきい値化の必要性を裏付けた。
• 平均的に、oLRP エラーは AP よりもより情報豊かな性能洞察を提供した：局所化が悪い、または偽陽性率が高い検出器は明確にペナルティを受けたが、AP ではこのような問題が隠蔽されていた。
• 本手法はタスクに頑健である：LRP エラーはパノプティックセグメンテーションを含む7つの視覚的検出タスクに成功裏に適用され、一貫性があり意味のある性能順位付けが得られた。

(a) Object Detection