[논문 리뷰] Group-CAM: Group Score-Weighted Visual Explanations for Deep Convolutional Networks

Qinglong Zhang, Lu Rao외 1명|arXiv (Cornell University)|2021. 03. 25.

Explainable Artificial Intelligence (XAI)참고 문헌 23인용 수 33

한 줄 요약

Group-CAM 효율적으로 타깃 관련 주목도 맵을 그룹핑한 피처 맵으로 생성하고, 초기 마스크를 잡음 제거하고, perturbations 이후 클래스 신뢰도로 가중치를 두어, 이전 방법들보다 더 적은 네트워크 쿼리로 더 나은 설명을 제공합니다.

ABSTRACT

In this paper, we propose an efficient saliency map generation method, called Group score-weighted Class Activation Mapping (Group-CAM), which adopts the "split-transform-merge" strategy to generate saliency maps. Specifically, for an input image, the class activations are firstly split into groups. In each group, the sub-activations are summed and de-noised as an initial mask. After that, the initial masks are transformed with meaningful perturbations and then applied to preserve sub-pixels of the input (i.e., masked inputs), which are then fed into the network to calculate the confidence scores. Finally, the initial masks are weighted summed to form the final saliency map, where the weights are confidence scores produced by the masked inputs. Group-CAM is efficient yet effective, which only requires dozens of queries to the network while producing target-related saliency maps. As a result, Group-CAM can be served as an effective data augment trick for fine-tuning the networks. We comprehensively evaluate the performance of Group-CAM on common-used benchmarks, including deletion and insertion tests on ImageNet-1k, and pointing game tests on COCO2017. Extensive experimental results demonstrate that Group-CAM achieves better visual performance than the current state-of-the-art explanation approaches. The code is available at https://github.com/wofmanaf/Group-CAM.

연구 동기 및 목표

• CNN 결정에 대한 신뢰성과 해석 가능성을 높이기 위한 효율적이고 판별적인 시각적 설명을 동기 부여한다.
• 설명 품질을 유지하거나 개선하면서 RISE보다 빠른 주목도 방법을 개발한다.
• Split-Transform-Merge 전략을 활용하여 그룹 기반 초기 마스크를 생성하고 이를 클래스 신뢰도 점수로 가중한다.

제안 방법

• 활성화를 G개의 그룹으로 나누고 각 그룹 내의 기울기(그래디언트)로 가중합한 활성화를 초기 마스크로 형성한다.
• 초기 마스크에 노이즈 제거를 적용하고 픽셀 보존 마스크를 만들기 위해 정규화한다.
• 입력의 비마스킹 영역을 블러 처리하고 섭동된 입력으로부터 신뢰도 증가를 계산하여 마스크를 가중한다.
• 가중치(신뢰도 점수)로 마스크드 입력을 집계하여 가중합을 통해 최종 주목도 맵을 형성한다.
• ImageNet-1k 및 COCO2017에서 RISE, XRAI, Grad-CAM, Score-CAM과의 효율성과 시각적 품질을 비교한다.

실험 결과

연구 질문

• RQ1 Group-CAM이 기존 방법보다 훨씬 적은 네트워크 쿼리로 더 타깃 관련 주목도 맵을 생성할 수 있는가?
• RQ2 그룹 기반 마스킹과 perturbation 접근 방식이 시각적 품질과 로컬라이제이션 성능을 모두 향상시키는가?
• RQ3 Group-CAM이 분류기 미세 조정에 효과적인 데이터 증강 기법으로 작용할 수 있는가?

주요 결과

• Group-CAM은 Insertions/Deletions 테스트에서 Grad-CAM, Grad-CAM++, RISE, XRAI, 및 Score-CAM보다 전반적 설명 성능(AUC)이 높으며, Group-CAM은 56.8 insertion AUC, 12.3 deletion AUC, 44.5 overall AUC에 도달한다.
• ImageNet-1k에서 COCO val2017의 Localization(포인팅 게임)에서 Group-CAM이 경쟁자들보다 우수하여 평균 정확도 57.5로 Grad-CAM의 56.7을 넘었다.
• Group-CAM은 매우 빠르게 실행되며(≈0.09초/이미지 G=32) 런타임에서도 Grad-CAM과 경쟁하며 더 나은 설명을 제공한다.
• 이탈 연구에서 그룹 수 G를 증가시키면 전반 점수가 향상되며 임계값 theta가 대략 70일 때 강한 성능이 나타난다.