[논문 리뷰] Latent Diffusion Counterfactual Explanations

Karim Farid, Simon Schrodi외 2명|arXiv (Cornell University)|2023. 10. 10.

Adversarial Robustness in Machine LearningComputer Science인용 수 3

한 줄 요약

이 논문은 모델 및 데이터셋에 관계없이 적용 가능한 Latent Diffusion Counterfactual Explanations (LDCE)를 소개한다. 이는 클래스 또는 텍스트 조건부 기초 잠재 확산 모델을 활용하여 고품질이면서 의미적으로 유의미한 역설적 이미지를 생성한다. 새로운 공감 가중치 가이던스 메커니즘을 통해 확산 모델의 암묵적 분류기로 악성 기울기(gradient)를 필터링함으로써, 보조 강건 모델이나 계산 비용이 큰 가이던스에 의존하지 않으며, 학습 데이터에 접근할 필요 없이 다양한 분류기와 데이터셋에서 효율적이고 현실적인 역설적 이미지를 생성할 수 있다.

ABSTRACT

Counterfactual explanations have emerged as a promising method for elucidating the behavior of opaque black-box models. Recently, several works leveraged pixel-space diffusion models for counterfactual generation. To handle noisy, adversarial gradients during counterfactual generation -- causing unrealistic artifacts or mere adversarial perturbations -- they required either auxiliary adversarially robust models or computationally intensive guidance schemes. However, such requirements limit their applicability, e.g., in scenarios with restricted access to the model's training data. To address these limitations, we introduce Latent Diffusion Counterfactual Explanations (LDCE). LDCE harnesses the capabilities of recent class- or text-conditional foundation latent diffusion models to expedite counterfactual generation and focus on the important, semantic parts of the data. Furthermore, we propose a novel consensus guidance mechanism to filter out noisy, adversarial gradients that are misaligned with the diffusion model's implicit classifier. We demonstrate the versatility of LDCE across a wide spectrum of models trained on diverse datasets with different learning paradigms. Finally, we showcase how LDCE can provide insights into model errors, enhancing our understanding of black-box model behavior.

연구 동기 및 목표

• 기존의 역설적 설명 방법이 악성 기울기 강건 모델이나 복잡한 가이던스 기반 기법에 의존함으로써 데이터 비공개 환경에서의 적용 범위가 제한되는 문제를 해결하기 위해.
• 대상 분류기의 학습 데이터에 접근할 필요 없이 다양한 분류기와 데이터셋에서 효율적이고 고품질의 역설적 이미지를 생성하기 위해.
• 기초 확산 모델의 암묵적 분류기를 활용하여 역설적 이미지 생성 중에 노이즈가 많은 악성 기울기를 필터링하기 위해.
• 잠재 확산을 통해 의미 수준의 변화와 픽셀 수준의 노이즈를 분리함으로써, 역설적 이미지가 의미적으로 유의미하고 동시에 시각적으로 현실적이 되도록 보장하기 위해.
• 모델의 결정 경계를 드러내는 역설적 이미지를 생성함으로써 블랙박스 모델의 행동에 대한 해석 가능한 통찰을 제공하기 위해.

제안 방법

• LDCE는 사전 학습된 클래스 또는 텍스트 조건부 잠재 확산 모델을 사용하여 잠재 공간에서 역설적 이미지를 생성하며, 의미적 콘텐츠와 픽셀 수준의 세부 정보를 분리한다.
• 이 방법은 대상 분류기의 기울기와 확산 모델의 암묵적 분류기 기울기를 일치시키는 공감 가중치 가이던스 메커니즘을 도입하여, 악성 변형을 억제한다.
• 분류기 손실(목표 예측 달성)과 거리 항목(원본 입력에 가까움을 유지)을 조합한 손실를 최소화함으로써 역설적 이미지를 최적화한다.
• 공감 메커니즘은 대상 모델과 확산 모델의 암묵적 분류기로부터 유도된 기울기의 가중 평균을 계산하여, 일치하지 않는 노이즈가 많은 기울기를 필터링한다.
• 역설적 이미지 생성은 확산 모델의 잠재 공간에서 수행되며, 이는 더 빠른 추론과 의미적 변화 및 픽셀 수준 변화의 더 나은 분리 가능성을 제공한다.
• 이 방법은 대상 모델의 학습 방식(지도학습, 자기지도학습 등)에 관계없이 적용 가능하며, 기초 확산 모델의 도메인 커버리지 범위에 한계를 가진다.

(a) alp $\rightarrow$ coral reef on ImageNet with ResNet-50

실험 결과

연구 질문

• RQ1 대상 모델의 학습 데이터나 보조 강건 모델에 접근할 필요 없이, 효율적이고 강건한 역설적 설명을 생성할 수 있는가?
• RQ2 기초 확산 모델의 암묵적 분류기를 활용하여 역설적 생성 중에 악성 기울기를 효과적으로 필터링할 수 있는가?
• RQ3 LDCE는 다양한 데이터셋과 학습 파라다임에서 의미적으로 유의미하고 현실적인 역설적 이미지를 얼마나 잘 생성할 수 있는가?
• RQ4 역설적 이미지의 품질, 현실성, 원본 입력과의 유사도 측면에서 기존 방법과 비교해 LDCE는 어떠한가?
• RQ5 LDCE의 실패 유형은 무엇이며, 하이퍼파라미터 조정이나 아키텍처 개선을 통해 이를 완화할 수 있는가?

주요 결과

• LDCE는 분류기의 기울기와 확산 모델의 암묵적 분류기만을 사용하여 ImageNet, CelebA HQ, Oxford Pets, Oxford Flowers 102 등 다양한 데이터셋에서 고품질의 의미적으로 유의미한 역설적 이미지를 성공적으로 생성하였다.
• 공감 가중치 가이던스 메커니즘이 효과적으로 악성 기울기를 필터링하여, 비현실적인 아티팩트나 악성 변형을 방지하였다.
• LDCE는 모델 및 데이터셋에 관계없이 적용 가능한 역설적 이미지 생성을 달성하였으며, 대상 분류기의 미세조정이 필요 없고 학습 데이터에 접근할 필요가 없었다.
• 이 방법은 계산 비용이 큰 가이던스 기반 기법이나 보조 강건 모델에 대한 의존도를 크게 줄여 더 빠르고 확장 가능한 역설적 이미지 생성을 가능하게 하였다.
• 복잡한 시나리오나 다수의 객체가 있는 경우 뿌연 이미지, 왜곡된 얼굴, 목표 클래스와의 큰 거리 등의 실패 유형이 관찰되었지만, 이는 핵심 방법의 문제보다는 기초 확산 모델의 한계에 기인하였다.
• 하이퍼파라미터 조정(예: 분류기 강도 증가, 거리 강도 감소)을 통해 큰 거리 실패를 완화할 수 있었지만, 원본 입력에서의 이격도 증가를 초래하였다.

(b) no-smile $\rightarrow$ smile on CelebA HQ with DenseNet-121