[논문 리뷰] ODAM: Gradient-based instance-specific visual explanations for object detection

Chenyang Zhao, Antoni B. Chan|arXiv (Cornell University)|2023. 04. 13.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

ODAM은 객체 검출기의 기울기 기반, 인스턴스 특정 시각적 설명 방법으로, 단일 및 이단계 검출기 모두에서 개별 객체 예측에 대해 고품질이고 노이즈에 강한 열지도를 생성한다. 새로운 훈련 방식(Odam-Train)을 통해 객체 식별성을 향상시키고, 더 나은 비최대 억제(NMS)를 가능하게 하여 혼잡한 벤치마크에서 최신 기술을 능가하는 정확도와 강건성 확보.

ABSTRACT

We propose the gradient-weighted Object Detector Activation Maps (ODAM), a visualized explanation technique for interpreting the predictions of object detectors. Utilizing the gradients of detector targets flowing into the intermediate feature maps, ODAM produces heat maps that show the influence of regions on the detector's decision for each predicted attribute. Compared to previous works classification activation maps (CAM), ODAM generates instance-specific explanations rather than class-specific ones. We show that ODAM is applicable to both one-stage detectors and two-stage detectors with different types of detector backbones and heads, and produces higher-quality visual explanations than the state-of-the-art both effectively and efficiently. We next propose a training scheme, Odam-Train, to improve the explanation ability on object discrimination of the detector through encouraging consistency between explanations for detections on the same object, and distinct explanations for detections on different objects. Based on the heat maps produced by ODAM with Odam-Train, we propose Odam-NMS, which considers the information of the model's explanation for each prediction to distinguish the duplicate detected objects. We present a detailed analysis of the visualized explanations of detectors and carry out extensive experiments to validate the effectiveness of the proposed ODAM.

연구 동기 및 목표

• 기존 방법들인 Grad-CAM과 같이 동일한 카테고리의 모든 객체를 강조하는 클래스 특정 열지도를 생성하는 데서 비롯되는 인스턴스 특정 시각적 설명의 부족을 해결하기 위해.
• D-RISE와 같은 펌터베이션 기반 방법이 수많은 추론 프로세스를 요구하고 마스크 해상도에 의존함으로써 계산 비용이 높고 출력이 노이즈가 많다는 문제를 해결하기 위해.
• 분류 외에도 클래스 및 바운딩 박스 좌표와 같은 개별 예측 속성의 설명을 가능하게 하여 모델의 해석 가능성을 향상시키기 위해.
• 동일한 객체에 대해 일관된 설명을, 다른 객체에 대해서는 구분 가능한 설명을 생성하도록 검출기 훈련을 통해 설명의 일관성과 식별성을 향상시키기 위해.
• 특히 겹치는 검출이 많은 혼잡한 장면에서 비최대 억제(NMS) 성능 향상을 위해 인스턴스 수준의 설명을 활용하기 위해.

제안 방법

• ODAM은 각 예측 속성(예: 클래스 점수, 박스 좌표)으로부터 중간 특징 맵으로 역전파하는 기울기를 사용해 기울기 가중 활성화 맵을 계산함으로써 인스턴스 특정 열지도를 생성한다.
• 이 방법은 Grad-CAM과 유사한 기울기 기반 할당을 특징 맵에 적용하지만, 클래스 수준이 아닌 각 예측 인스턴스 수준에서 영향을 국소화하기 위해 객체 검출에 적합하게 조정된다.
• Odam-Train은 동일한 객체에 대해 유사한 설명을 유도하기 위한 일관성 손실과 다른 객체에 대해 구분 가능한 설명을 보장하기 위한 분리 손실을 도입한다.
• 이 훈련 체계는 검출기 아키텍처를 수정하지 않고도 설명 맵의 국소화 및 식별성을 향상시킨다.
• Odam-NMS는 ODAM에서 생성한 인스턴스 수준의 열지도를 활용해 NMS를 지도하며, 더 국소화되고 명확한 설명을 가진 검출을 우선순위로 삼아 중복 검출을 억제한다.
• 이 접근 방식은 일반적이며, 단일단계 검출기(F COS), 이단계 검출기(Faster R-CNN), 다양한 백본 및 헤드와 호환된다.

실험 결과

연구 질문

• RQ1 기울기 기반 할당이 클래스 특정가 아닌 인스턴스 특정 시각적 설명을 객체 검출기에 대해 생성할 수 있는가?
• RQ2 모델 훈련 방식을 어떻게 수정하면 개별 객체 인스턴스에 대한 설명의 충실도와 식별성을 향상시킬 수 있는가?
• RQ3 ODAM에서 생성한 인스턴스 수준의 설명은 겹치는 객체가 많은 혼잡한 장면에서 비최대 억제(NMS) 성능 향상에 기여하는가?
• RQ4 ODAM은 D-RISE 및 Grad-CAM과 같은 최신 기술과 비교해 설명 품질, 효율성, 객체 크기 변화에 대한 강건성 측면에서 어떻게 성능을 내는가?
• RQ5 충실도와 객체 식별성 간의 트레이드오프는 무엇이며, 이를 어떻게 관리할 수 있는가?

주요 결과

• qualitative 비교를 통해 ODAM은 D-RISE 및 Grad-CAM보다 더 높은 품질의, 노이즈가 적고 국소화가 뛰어난 열지도를 생성함을 확인했으며, 객체 크기 변화에 대해 강건함을 입증함.
• Odam-Train은 설명의 국소화 및 객체 식별성을 크게 향상시켜 유사한 객체 간 혼동을 줄이고 동일 객체에 대해 일관성을 강화함.
• CrowdHuman 데이터셋에서 FCOS에 대해 Odam-NMS는 Jaccard Index 81.1과 가장 낮은 Missing Rate 44.5를 기록하며, NMS, Soft-NMS, FeatureNMS를 모두 능가함.
• Faster R-CNN에선 Odam-NMS가 평균 정밀도 88.1을 기록하고 Missing Rate 42.8을 기록하여 혼잡한 장면에서 뛰어난 성능을 보임.
• 열지도 생성으로 인한 약간의 긴 추론 시간이 있음에도 불구하고, Odam-NMS는 경쟁 가능한 속도 유지를 유지하며 NMS에서 정확도와 강건성의 최적 균형을 달성함.
• 결과는 ODAM이 생성한 인스턴스 수준의 설명이 효과적으로 NMS를 지도하는 데 기여함을 확인하며, 제안된 방법의 해석 가능성과 실용성을 검증함.