[논문 리뷰] CAMERAS: Enhanced Resolution And Sanity preserving Class Activation Mapping for image saliency

Mohammad A. A. K. Jalwana, Naveed Akhtar외 2명|arXiv (Cornell University)|2021. 06. 20.

Adversarial Robustness in Machine Learning참고 문헌 35인용 수 6

한 줄 요약

CAMERAS는 외부 사전 지식 없이 다중 척도 활성화 맵과 기울기를 체계적으로 융합함으로써 해상도를 향상시키고 지ap을 유지하는 백프로파게이션 기반의 새로운 색소니티 메서드를 제안한다. 이는 지ointing 게임 벤치마크에서 최대 27.5%의 오차 감소를 달성하며, 모델의 해석 가능성과 적대적 공격의 효율성을 향상시키는 정밀한 색소니티 매핑을 가능하게 한다.

ABSTRACT

Backpropagation image saliency aims at explaining model predictions by estimating model-centric importance of individual pixels in the input. However, class-insensitivity of the earlier layers in a network only allows saliency computation with low resolution activation maps of the deeper layers, resulting in compromised image saliency. Remedifying this can lead to sanity failures. We propose CAMERAS, a technique to compute high-fidelity backpropagation saliency maps without requiring any external priors and preserving the map sanity. Our method systematically performs multi-scale accumulation and fusion of the activation maps and backpropagated gradients to compute precise saliency maps. From accurate image saliency to articulation of relative importance of input features for different models, and precise discrimination between model perception of visually similar objects, our high-resolution mapping offers multiple novel insights into the black-box deep visual models, which are presented in the paper. We also demonstrate the utility of our saliency maps in adversarial setup by drastically reducing the norm of attack signals by focusing them on the precise regions identified by our maps. Our method also inspires new evaluation metrics and a sanity check for this developing research direction. Code is available here https://github.com/VisMIL/CAMERAS

연구 동기 및 목표

• 딥 네트워크의 클래스에 민감하지 않은 초기 층으로 인해 백프로파게이션 기반 방법에서 저해상도 색소니티 맵이 발생하는 문제를 해결한다.
• 색소니티 맵의 지각과 모델 무결성을 해치는 외부 사전 지식이나 히우리스틱에 의존하는 것을 제거한다.
• 단일 네트워크 층만을 사용하여 고정밀, 고해상도 색소니티 매핑을 가능하게 하여 조합적 층 선택을 피한다.
• 딥러닝 해석 가능성에서 색소니티 방법을 평가하기 위한 새로운 평가 지표와 픽셀 수준의 지각 검증을 제공한다.
• 색소니티 영역에 집중하는 흐트러짐을 통해 노름을 줄이면서도 속임수 확신 수준을 유지함으로써 적대적 공격의 유효성을 높인다.

제안 방법

• 단일 네트워크 층에서 유도된 다중 척도 활성화 맵과 역전파된 기울기를 체계적으로 누적하고 융합하여 고해상도 색소니티 맵을 생성한다.
• 융합된 맵에 ReLU 및 L2 정규화를 적용하여 비음수이자 정규화된 색소니티 점수를 보장한다.
• 보간 또는 외부 사전 지식 없이 원본 입력 이미지 해상도에 정규화된 색소니티 맵을 통합한다.
• 딥 네트워크의 가분성 특성을 활용하여 기울기를 종단 간(end-to-end)으로 계산함으로써 모델 중심의 기여도를 유지한다.
• CAMERAS 색소니티로 향상된 PGD 적대적 공격 프레임워크를 사용하여 흐트러짐을 고중요 영역에 국한시킨다.
• 층 가중치를 무작위로 설정했을 때 색소니티 맵과 모델 예측에 미치는 영향을 평가하여 픽셀 수준의 지각 검증을 수행한다.

실험 결과

연구 질문

• RQ1 외부 사전 지식이나 히우리스틱에 의존하지 않고도 깊이 있는 시각 모델에 대해 고해상도이자 지각을 유지하는 색소니티 맵을 생성할 수 있는가?
• RQ2 정밀한 색소니티 매핑은 딥 네트워크 아키텍처 간의 특징 주의 집중 차이를 어떻게 드러내는가?
• RQ3 고정밀 색소니티 맵은 흐트러짐의 노름을 줄임으로써 적대적 공격의 효율성을 어느 정도 향상시킬 수 있는가?
• RQ4 딥러닝에서 고정밀 색소니티 방법을 평가하기 위해 필요한 새로운 평가 지표와 지각 검증은 무엇인가?
• RQ5 색소니티 맵은 서로 유사한 시각적 객체, 예를 들어 사슬 울타리와 딸랑이를 어떻게 모델 중심적으로 구분하는가?

주요 결과

• CAMERAS는 지점 게임 지표에서 최대 27.5%의 오차 감소를 달성하여 최신 기술보다 뚜렷이 뛰어난 성능을 보였다.
• 이 방법은 모델 간의 세밀한 특징 주의 집중 차이를 명확히 시각화할 수 있게 하였으며, 예를 들어 유사한 객체에서 사슬 결합부와 더 큰 구조물에 대한 집중이 뚜렷하게 구분되는 것을 확인할 수 있었다.
• PGD에 통합된 CAMERAS는 ImageNet에서 평균 흐트러짐 노름을 56.5% 감소시켰으며, 同시에 99.99%의 속임수 확신 수준을 유지했다.
• CAMERAS로 계산된 색소니티 맵은 엄격한 픽셀 수준의 지각 검증을 통과하였으며, 네트워크 가중치를 무작위로 설정하면 색소니티가 비례적으로 악화됨을 확인하여 맵의 무결성을 확인했다.
• 외부 사전 지식이 없기에, 이전에 알려지지 않은, 시각적으로 유사한 클래스에 대해 모델 고유의 중요도 차이를 탐지할 수 있었다.
• CAMERAS는 새로운 평가 지표 2종과 픽셀 수준의 지각 검증을 도입하여 딥러닝에서 고정밀 색소니티 평가의 기준을 한층 높였다.