[논문 리뷰] Real Time Image Saliency for Black Box Classifiers

Piotr Dabkowski, Yarin Gal|arXiv (Cornell University)|2017. 05. 22.

Visual Attention and Saliency Detection참고 문헌 12인용 수 79

한 줄 요약

저자들은 빠르고 모델 기반의 마스킹 네트워크를 학습시켜, 모든 differentiable 이미지 분류기에 대해 단일 순회(saliency) 맵을 생성하도록 하여, 실시간 saliency 탐지와 ImageNet 및 CIFAR-10에서의 약한 지도 학습 로컬라이제이션을 향상시킵니다.

ABSTRACT

In this work we develop a fast saliency detection method that can be applied to any differentiable image classifier. We train a masking model to manipulate the scores of the classifier by masking salient parts of the input image. Our model generalises well to unseen images and requires a single forward pass to perform saliency detection, therefore suitable for use in real-time systems. We test our approach on CIFAR-10 and ImageNet datasets and show that the produced saliency maps are easily interpretable, sharp, and free of artifacts. We suggest a new metric for saliency and test our method on the ImageNet object localisation task. We achieve results outperforming other weakly supervised methods.

연구 동기 및 목표

• 강한 해석 가능성을 지향하는 로버스트한 샘플링 없는 saliency 방법의 동기화.
• 임의의 differentiable 분류기에 적용 가능한 빠른 모델 기반 saliency 탐지기 개발.
• 마스크가 매끄럽고 정밀하며 아티팩트를 도입하지 않으면서도 saliency 영역에서 분류기의 신뢰도를 보존하도록 보장.
• 가장 작은 충분/파괴 영역 개념에 맞춘 새로운 saliency 지표를 도입하고 대규모 데이터셋에서 검증합니다.

제안 방법

• 4-term 목표식(식(4))을 최소화하여 saliency 마스크를 예측하도록 U-Net 스타일의 인코더 ResNet-50를 갖춘 마스킹 모델을 학습합니다.
• 아티팩트를 제어하기 위해 Φ(X,M)=X⊙M+A⊙(1−M)인 생성된 증거 제거 함수 사용, A는 흐리거나 무작위 색상/노이즈 이미지입니다.
• 학습된 임베딩 C를 통해 클래스 정보를 인코딩하고, 고수준 ResNet 특징에 적용된 특징 필터를 통해 중요한 영역을 위치화합니다(식(7)).
• 최종 마스크 M은 두 채널 출력을 커스텀 비선형성 M_s=abs(C_0)/(abs(C_0)+abs(C_1))로 결합하고 입력 해상도로 업샘플링하여 얻습니다.
• Encoder 가중치를 고정한 상태에서 fake-class 감독 신호를 주기적으로 사용하여 지배적 객체 마스킹을 방지하고, Phi 호출 중 대체 이미지 A를 무작위로 바꿔 강건성을 높입니다.

실험 결과

연구 질문

• RQ1 학습 가능한 마스킹 모델이 어떤 differentiable 이미지 분류기에 대해서도 단일 순전파로 정확하고 선명한 saliency 맵을 생성할 수 있는가?
• RQ2 모델 기반 saliency가 반복적/그래디언트 기반 방법에 비해 로컬라이제이션 정확도와 해석가능성에서 어떤 차이가 있는가?
• RQ3 아티팩트에 강건하고 가장 작은 충분/파괴 영역을 반영하는 saliency 품질 평가를 위한 적합한 지표는 무엇인가?
• RQ4 다양한 데이터셋(ImageNet 및 CIFAR-10)과 다수의 블랙박스 분류기에 대해 이 접근법이 효과적인가?
• RQ5 실시간 saliency가 비디오 saliency 및 약한 지도 로컬라이제이션과 같은 실용적 응용에 얼마나 가능하게 하는가?

주요 결과

• 마스킹 모델은 표준 GPU에서 초당 100개 이상의 마스크로 실시간 saliency를 달성합니다.
• ImageNet에서 ResNet-50을 블랙박스로 사용했을 때 마스킹 모델의 로컬라이제이션 오차는 36.7%로, 여러 약한 지도 baselines를 상회합니다.
• GoogLeNet을 블랙박스로 사용할 경우 로컬라이제이션 오차는 36.9%, AlexNet을 사용할 경우 39.8%(맥락 필요성으로 인한 증가)입니다.
• 새로운 saliency 지표 s(a,p)=log(â)−log(p) (â=max(a,0.05))는 saliency 해석가능성과 상관관계가 있으며, 더 나은 탐지기는 이 값이 더 낮습니다; 마스킹 모델의 지표는 0.318로 Grad(0.451) 및 Exc(0.415) 같은 baselines보다 낮습니다.
• 이 방법은 ImageNet 로컬라이제이션에서 기존의 약한 지도 방법들을 능가하고, 일부 경우 GT 박스와 비견될 만큼 선명하고 해석 가능한 마스크와 로컬라이제이션 박스를 생성합니다.
• CIFAR-10에서는 임의로 초기화된 마스크를 가진 수정된 경량 아키텍처에서도 명확히 해석 가능한 saliency 맵이 생성되어 방법이 저해상도 데이터에 일반화됨을 확인합니다.