[論文レビュー] ODAM: Gradient-based instance-specific visual explanations for object detection

Chenyang Zhao, Antoni B. Chan|arXiv (Cornell University)|Apr 13, 2023

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

ODAM は、1段階および2段階の検出器に対し、個々の物体予測に対して高品質でノイズに強く、勾配に基づくインスタンス固有の視覚的説明を提供する手法である。新しいトレーニング方式（Odam-Train）により物体の識別を向上させ、より良い非最大抑制（Odam-NMS）を実現し、混雑したベンチマークにおいて最先端の手法を上回る精度と耐性を示している。

ABSTRACT

We propose the gradient-weighted Object Detector Activation Maps (ODAM), a visualized explanation technique for interpreting the predictions of object detectors. Utilizing the gradients of detector targets flowing into the intermediate feature maps, ODAM produces heat maps that show the influence of regions on the detector's decision for each predicted attribute. Compared to previous works classification activation maps (CAM), ODAM generates instance-specific explanations rather than class-specific ones. We show that ODAM is applicable to both one-stage detectors and two-stage detectors with different types of detector backbones and heads, and produces higher-quality visual explanations than the state-of-the-art both effectively and efficiently. We next propose a training scheme, Odam-Train, to improve the explanation ability on object discrimination of the detector through encouraging consistency between explanations for detections on the same object, and distinct explanations for detections on different objects. Based on the heat maps produced by ODAM with Odam-Train, we propose Odam-NMS, which considers the information of the model's explanation for each prediction to distinguish the duplicate detected objects. We present a detailed analysis of the visualized explanations of detectors and carry out extensive experiments to validate the effectiveness of the proposed ODAM.

研究の動機と目的

• 既存の手法（例：Grad-CAM）が同じカテゴリのすべての物体を強調するクラス固有のヒートマップを生成するのに対し、物体検出におけるインスタンス固有の視覚的説明の欠如に対処すること。
• D-RISE などの摂動に基づく手法が多数の推論パスを必要とし、マスク解像度に依存するため、計算効率が低くノイズが多い出力が生じることを克服すること。
• 分類のほかに、クラスやバウンディングボックス座標といった個々の予測属性の説明を可能にすることで、モデルの解釈性を向上させること。
• 同じ物体に対して一貫した説明を、異なる物体に対しては明確に異なる説明を生成するように検出器をトレーニングすることで、説明における局所化と識別性を向上させること。
• 特に重なっている物体が多数存在する混雑したシーンにおいて、非最大抑制（NMS）の性能を向上させるためにインスタンスレベルの説明を利用する。

提案手法

• ODAM は、各予測属性（例：クラススコア、ボックス座標）から中間特徴マップへ勾配を逆伝播させることで、勾配重み付き活性化マップを計算し、インスタンス固有のヒートマップを生成する。
• この手法は、Grad-CAM と同様に勾配に基づく帰属度を特徴マップに適用するが、クラスごとのものではなく、個々の予測インスタンスごとに影響を局所化するようにオブジェクト検出に適応している。
• Odam-Train は、同じ物体に対して類似した説明を促進する一貫性損失と、異なる物体に対しては明確に異なる説明を保証する分離損失を導入する。
• このトレーニング方式は、検出器アーキテクチャを変更せずに、説明マップの局所化と識別性を向上させる。
• Odam-NMS は、ODAM が生成するインスタンスレベルのヒートマップを活用して NMS をガイドし、局所化が明確で明確に分離された説明を持つ検出を優先することで、重複を抑制する。
• 本手法は汎用的であり、1段階検出器（例：FCOS）、2段階検出器（例：Faster R-CNN）、さまざまなバックボーンとヘッドと互換性がある。

実験結果

リサーチクエスチョン

• RQ1 勾配に基づく帰属度は、クラス固有のものではなく、オブジェクト検出器に対してインスタンス固有の視覚的説明を生成できるか？
• RQ2 モデルのトレーニングをどのように変更すれば、個々の物体インスタンスの説明の忠実性と識別性を向上させられるか？
• RQ3 ODAM が生成するインスタンスレベルの説明は、重なっている物体が多数存在する混雑したシーンにおける NMS の性能を向上させられるか？
• RQ4 D-RISE や Grad-CAM と比較して、ODAM は説明の質、効率性、物体サイズに対する耐性において優れているか？
• RQ5 説明の忠実性と物体識別性のトレードオフは何か、そしてそのバランスをどのように管理できるか？

主な発見

• ODAM は、D-RISE や Grad-CAM よりも高品質でノイズの少ないヒートマップを生成し、物体サイズに強く、局所化性能が優れていることが、定性的な比較で示された。
• Odam-Train は、説明の局所化と物体識別性を顕著に向上させ、類似した物体の混同を低減し、同じ物体に対する一貫性を高めた。
• CrowdHuman データセットにおいて、FCOS では Odam-NMS が Jaccard Index（81.1）で最高、Missing Rate（44.5）で最低を記録し、NMS、Soft-NMS、FeatureNMS をすべて上回った。
• Faster R-CNN では、Odam-NMS が最高の平均適合率（88.1）と最低の Missing Rate（42.8）を達成し、混雑したシーンにおける優れた性能を示した。
• ヒートマップ生成による推論時間のわずかな延長にもかかわらず、Odam-NMS は競争力ある速度を維持し、NMS における精度と耐性の最良のバランスを達成した。
• 結果から、ODAM が生成するインスタンスレベルの説明が NMS を効果的にガイドできることを確認した。これにより、提案手法の解釈可能性と実用性が裏付けられた。