[논문 리뷰] Efficient Saliency Maps for Explainable AI

T. Nathan Mundhenk, Barry Y. Chen외 1명|arXiv (Cornell University)|2019. 11. 26.

Explainable Artificial Intelligence (XAI)참고 문헌 31인용 수 47

한 줄 요약

한 번의 순전파에서 다섯 가지 네트워크 스케일로 계산된 SMOE Scale 주의 맵을 도입하여, 효율적이고 정확한 XAI 맵을 제공하고 그래디언트 기반 방법과 비견될 수 있으며, 스케일 인식 해석을 위한 선택적 Layer Ordered Visualization (LOVI) 를 가능하게 한다.

ABSTRACT

We describe an explainable AI saliency map method for use with deep convolutional neural networks (CNN) that is much more efficient than popular fine-resolution gradient methods. It is also quantitatively similar or better in accuracy. Our technique works by measuring information at the end of each network scale which is then combined into a single saliency map. We describe how saliency measures can be made more efficient by exploiting Saliency Map Order Equivalence. We visualize individual scale/layer contributions by using a Layer Ordered Visualization of Information. This provides an interesting comparison of scale information contributions within the network not provided by other saliency map methods. Using our method instead of Guided Backprop, coarse-resolution class activation methods such as Grad-CAM and Grad-CAM++ seem to yield demonstrably superior results without sacrificing speed. This will make fine-resolution saliency methods feasible on resource limited platforms such as robots, cell phones, low-cost industrial devices, astronomy and satellite imagery.

연구 동기 및 목표

• 실시간 또는 임베디드 사용에 적합한 효율적이고 미세한 수준의 주의 맵의 필요성 동기 부여.
• 표준 순전파 중 엔드-오브-스케일 활성화를 분석하여 주의 맵 추정 프레임워크를 개발.
• 계산적으로 가벼운 통계적 주의 맵 지표(SMOE Scale)를 제안하고 그 강건성을 입증.
• LOVI로 다중 스케일 주의 맵을 단일 시각화로 결합하는 방법을 도입하고, 계층 기여를 HSV로 인코딩.
• ROAR/KAR 지표를 사용하여 최첨단 주의 기술과 비교 평가하고 효율성도 비교.

제안 방법

• CNN에서 각 공간 스케일의 끝에서 주의 맵을 계산한다(예: ResNet-50의 다섯 스케일).
• 채널 활성화에 걸쳐 평균 활성화에 로그 정보항 terms를 곱한 Gamma-스케일 매개변수 추정의 단순화에서 파생된 빠른 주의 지표(SMOE Scale)를 정의한다(Eq. 2).
• Saliency Map Order Equivalence(SMOE)를 가정하여 전체 반복 추정을 피하고 주의 픽셀의 순위를 보존한다.
• 각 스케일 주의 맵을 맵당 0-1 변환으로 정규화한 뒤 입력 크기로 업샘플링하고 가중 평균(Eq. 3)으로 결합한다.
• LOVI(정보의 Layer Ordered Visualization)를 통해 위치별 스케일 기여를 HSV 색공간으로 인코딩한다(색상 Hue = 층의 질량 중심, 채도 Saturation = 희소성/독창성, 명도 Value = 최대 활성화).
• 원한다면 SMOE Scale과 Grad-CAM++를 융합하여 더 강력한 결합 주의 신호를 생성한다.

실험 결과

연구 질문

• RQ1 단일 순전파로 도출된 다중 스케일 주의 맵 방법이 그래디언트 기반 주의 방법(예: Guided Backprop, Grad-CAM)에 비해 정확도를 크게 낮춤 없이 계산을 대폭 줄일 수 있는가?
• RQ2 SMOE Scale과 간단한 정규화를 통한 스케일별 주의 맵의 결합이 다양한 아키텍처와 데이터셋에 대해 강건하고 해석 가능한 시각화를 제공하는가?
• RQ3 다중 스케일 시각화(LOVI)가 네트워크 단계 간 정보 분포에 대한 실행 가능한 인사이트를 제공하는가?
• RQ4 ROAR와 KAR 지표가 기존 방법과 비교하여 제안된 주의 맵의 품질을 표준 벤치마크에서 어떻게 평가하는가?
• RQ5 SMOE Scale과 Grad-CAM++의 융합이 주의 정확도와 속도에 미치는 정량적/정성적 영향은 어떠한가?

주요 결과

• SMOE Scale은 여러 데이터셋에서 KAR/ROAR 성능이 우수하며, 다수의 빠른 그래디언트 기반 방법보다 우수한 성능을 보인다.
• 이 방법은 순전파 동안 다섯 개의 층만 처리해도 되므로 상당한 속도 이점을 제공하고 오버헤드가 미미하다.
• LOVI를 통해 스케일별 기여의 해석 가능성을 높이고, 초기 대 late 네트워크 단계가 주의에 어떻게 기여하는지 강조한다.
• SMOE Scale과 Grad-CAM++를 결합하면 전체 주의 정확도가 향상되면서도 전체 그래디엠 기반 방법에 비해 추론 속도가 빠르게 유지된다.
• 전체 역전파 기반 주의 방법과 비교할 때, SMOE Scale은 테스트 과제에서 비슷하거나 우수한 효율성과 경쟁력 있는 정확도를 보인다.