[논문 리뷰] Diffusion Visual Counterfactual Explanations

Maximilian Augustin, Valentyn Boreiko외 2명|arXiv (Cornell University)|2022. 10. 21.

Adversarial Robustness in Machine Learning인용 수 15

한 줄 요약

이 논문은 확산 모델을 사용하여 어떤 ImageNet 분류기라도 모델에 특화된 재학습 없이, 현실적이며 최소한의 변화를 가지며 의미적으로 유의미한 역설적 이미지를 생성하는 방법인 Diffusion Visual Counterfactual Explanations (DVCEs)를 제안한다. 적응형 재파rameterization, 거리 정규화, 그리고 적대적 공격에 강건한 모델을 통한 원뿔 정규화를 조합함으로써, DVCEs는 원본 이미지에 가까운 시각적 특성과 높은 신뢰도를 가지는 역설적 이미지를 생성하며, 모델의 편향을 드러내는 데에 효과적이다.

ABSTRACT

Visual Counterfactual Explanations (VCEs) are an important tool to understand the decisions of an image classifier. They are 'small' but 'realistic' semantic changes of the image changing the classifier decision. Current approaches for the generation of VCEs are restricted to adversarially robust models and often contain non-realistic artefacts, or are limited to image classification problems with few classes. In this paper, we overcome this by generating Diffusion Visual Counterfactual Explanations (DVCEs) for arbitrary ImageNet classifiers via a diffusion process. Two modifications to the diffusion process are key for our DVCEs: first, an adaptive parameterization, whose hyperparameters generalize across images and models, together with distance regularization and late start of the diffusion process, allow us to generate images with minimal semantic changes to the original ones but different classification. Second, our cone regularization via an adversarially robust model ensures that the diffusion process does not converge to trivial non-semantic changes, but instead produces realistic images of the target class which achieve high confidence by the classifier.

연구 동기 및 목표

• 표준 이미지 분류기의 모델에 종속되지 않고 현실적이며 의미적으로 유의미한 역설적 해석이 부족한 문제를 해결하기 위해.
• 기존 방법이 적대적 공격에 강건한 모델에 의존하거나 비현실적인 아티팩트를 생성하거나 소수의 클래스로 제한되는 등의 한계를 극복하기 위해.
• 최소한의 변화를 가지며 의미적으로 일관된 시각적 역설적 이미지(VCEs)를 생성하기 위한 일반 목적의 방법을 개발하기 위해.
• 고신뢰도의 역설적 이미지를 생성함으로써 분류기에서 유사한 특징을 드러내기 위해.
• 분류기에서 유사한 특징을 드러내기 위해 고신뢰도의 역설적 이미지를 생성함으로써.

제안 방법

• 원본 이미지에서 시각적으로 작은 변화를 보장하기 위해 분류기와 거리 정규화에 의해 지도된 확산 프로세스를 사용하여 최소한의 변화를 보장한다.
• 모든 이미지와 모델에서 동일한 하이퍼파라미터를 사용하는 적응형 재파arameterization을 적용하여 일반화를 가능하게 한다.
• 초기 생성 단계에서 원본 이미지의 의미를 유지하기 위해 확산 프로세스의 후기 시작을 적용한다.
• 적대적 공격에 강건한 모델을 사용한 원뿔 정규화를 적용하여 확산 과정을 현실적이며 목표 클래스의 이미지로 유도하고, 비의미적인 변화를 방지한다.
• 생성된 역설적 이미지가 목표 클래스로 고신뢰도로 올바르게 분류되도록 분류기의 신뢰도를 핵심 신호로 사용한다.
• 생성 모델을 분류기별로 재학습할 필요 없이, 다양한 ImageNet 분류기에 넓은 적용 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 확산 모델은 모델에 특화된 재학습 없이도 임의의 ImageNet 분류기의 현실적이고 최소한의 변화를 가지며 의미적으로 의미 있는 시각적 역설적 이미지를 생성할 수 있는가?
• RQ2 확산 프로세스는 어떻게 수정되어야 하며, 이로써 역설적 이미지가 원본 이미지에 가까운 시각적 특성을 가지며 목표 클래스에 대해 높은 분류기 신뢰도를 확보할 수 있는가?
• RQ3 적대적 공격에 강건한 모델을 통한 원뿔 정규화는 역설적 이미지에서 비의미적 또는 단순한 변화를 얼마나 효과적으로 방지할 수 있는가?
• RQ4 복잡한 데이터셋인 ImageNet에서 분류기가 학습한 유사한 특징을 드러내는 데서 DVCEs는 이전의 방법들과 어떻게 비교되는가?
• RQ5 제안된 방법은 다양한 아키텍처(예: ResNet, Swin, ConvNeXt)에 일반화되어 있으며, 알려진 및 새로운 유사한 특징을 탐지할 수 있는가?

주요 결과

• DVCEs 는 비록 비강건한 모델을 포함하여 다양한 ImageNet 분류기에서 현실적이며 최소한의 변화를 가지며 고신뢰도의 역설적 이미지를 성공적으로 생성한다.
• 기존 연구 결과와 일치하는 알려진 유사한 특징들(예: 'tench' 클래스에서 인간의 손, 'white shark' 클래스에서 케이지)을 드러낸다.
• 새로운 유사한 특징들(예: 'bee' 클래스에서 꽃이 증가하면 신뢰도가 상승하고, 'tiger cat' 클래스에서 호랑이 얼굴이 증가함)을 발견하여, 모델이 비의미적인 특성에 의존하고 있음을 시사한다.
• 사용자 연구 결과, $l_{1.5}$-SVCEs 및 BDVCEs와 같은 기준 방법보다 DVCEs가 더 의미 있고 현실적이며 미묘하게 느껴진다.
• 고정된 하이퍼파라미터로도 다양한 모델 간에 일반화되며 일관된 성능 유지를 유지함으로써, 강건성과 확장성을 입증한다.
• 실패 사례로는 확산 모델의 아티팩트로 인한 블러링과 원본 클래스와 목표 클래스가 의미적으로 거리가 먼 경우에 현실적인 변화 생성이 어려운 경우가 있다.