[논문 리뷰] Robust Feature-Level Adversaries are Interpretability Tools

Stephen Casper, Max Nadeau외 2명|arXiv (Cornell University)|2021. 10. 07.

Adversarial Robustness in Machine Learning인용 수 9

한 줄 요약

이 논문은 해석 가능하고 매우 유연한 특징 수준의 적대적 예제를 제안하며, ImageNet 규모에서 타겟 지향적, 유니버설, 은폐된, 물리적으로 실현 가능한, 블랙박스 공격을 가능하게 한다. 이미지 생성기의 잠재 표현을 조작함으로써, 이 방법은 시각적으로 명확하고 설명 가능한(예: 색깔 원) 적대적 특징을 생성한다. 이러한 특징은 취약한 특징-클래스 연관성을 진단하고 효과적인 복사/붙여넣기 공격을 설계하는 데 사용될 수 있으며, 모델의 해석 가능성에 대해 강력한 진단 유용성을 보여준다.

ABSTRACT

The literature on adversarial attacks in computer vision typically focuses on pixel-level perturbations. These tend to be very difficult to interpret. Recent work that manipulates the latent representations of image generators to create "feature-level" adversarial perturbations gives us an opportunity to explore perceptible, interpretable adversarial attacks. We make three contributions. First, we observe that feature-level attacks provide useful classes of inputs for studying representations in models. Second, we show that these adversaries are uniquely versatile and highly robust. We demonstrate that they can be used to produce targeted, universal, disguised, physically-realizable, and black-box attacks at the ImageNet scale. Third, we show how these adversarial images can be used as a practical interpretability tool for identifying bugs in networks. We use these adversaries to make predictions about spurious associations between features and classes which we then test by designing "copy/paste" attacks in which one natural image is pasted into another to cause a targeted misclassification. Our results suggest that feature-level attacks are a promising approach for rigorous interpretability research. They support the design of tools to better understand what a model has learned and diagnose brittle feature associations. Code is available at https://github.com/thestephencasper/feature_level_adv

연구 동기 및 목표

• 인간이 이해할 수 있는 적대적 공격을 개발하여, 시각적으로 인식 불가능한 픽셀 수준의 변형을 넘어서는 것.
• 다양한 조건(물리 세계 구현 포함)에서 일반화 가능한 강력하고 다재다능한 적대적 예제를 만드는 것.
• 이러한 적대적 예제를 실용적인 해석 가능성 도구로 활용하여 딥 네URAL 네트워크 내에서의 유사한 특징-클래스 연관성을 진단하는 것.
• 학습된 모델의 취약점을 악용하는 타겟 지향적 복사/붙여넣기 공격을 통해 이러한 공격의 진단 능력을 검증하는 것.

제안 방법

• 이 방법은 사전 훈련된 이미지 생성기의 잠재 코드를 최적화하여, 시각적으로 일관되고 고수준의 특징을 생성함으로써 적대적 특징을 생성한다. 이 특징들은 타겟 분류기에 오도시킨다.
• 작은 변형 외에도 정규화를 통해 적대적 성공을 확보하며, 이는 적대적 특징이 은폐되어(예: 신호등처럼 보이게) 시각적으로 타당하게 만들도록 한다.
• 생성기의 다양한 실제 이미지 패치를 합성할 수 있는 능력을 활용하여, 타겟 지향적, 유니버설, 물리적으로 실현 가능한, 블랙박스 공격을 포함한 다중 공격 유형을 지원한다.
• 복사/붙여넣기 공격을 사용하는 새로운 평가 프레임워크를 도입하여, 자연 이미지에 적대적 패치를 붙여 넣어 자연스러운 조건에서의 실제 오분류를 테스트한다.
• 이 방법은 사전 훈련된 GAN 기반 생성기(예: StyleGAN)를 활용하여 이미지 품질과 의미적 일관성을 유지하면서 적대적 특징을 합성한다.
• 생성된 특징이 효과적이면서도 인간이 설명할 수 있도록, 적대적 손실과 인지적, 은폐 정규화를 결합한다.

실험 결과

연구 질문

• RQ1 특징 수준의 적대적 예제는 ImageNet 규모에서 타겟 지향적, 유니버설, 물리적으로 실현 가능한 공격을 지원할 정도로 강력하고 다재다능하게 만들 수 있는가?
• RQ2 해석 가능하고 인간이 설명할 수 있는 적대적 특징은 딥 네URAL 네트워크 내에서 취약하거나 유사한 특징-클래스 연관성을 얼마나 잘 드러내는가?
• RQ3 잠재 공간 조작을 통해 생성된 적대적 예제는 자연 이미지 맥락에서 모델의 취약점을 악용하는 효과적인 복사/붙여넣기 공격을 설계하는 데 사용될 수 있는가?
• RQ4 특징 수준의 적대자와 전통적인 픽셀 수준의 공격 간에 모델의 해석 가능성에 대한 진단 유용성 측면에서 어떤 차이가 있는가?
• RQ5 이러한 적대적 예제는 체계적이고 재현 가능한 방식으로 사회적으로 해로운 편향이나 모델의 실패를 식별하고 확인하는 데 사용될 수 있는가?

주요 결과

• 이 방법은 시각적으로 일관되고 쉽게 설명 가능한 특징 수준의 적대적 패치를 성공적으로 생성하였으며, 예를 들어 색깔 원과 같은 특징들은 ResNet50 모델이 벌을 파리로 잘못 분류할 확률을 97%로 높였다.
• 생성된 적대적 패치(예: 신호등)를 이용한 복사/붙여넣기 공격은 벌 이미지에 삽입되었을 때 모델의 잘못된 클래스에 대한 신뢰도를 55%에서 97%로 높여, 적대적 특징의 실질적 악용 가능성을 검증했다.
• 이 공격들은 다양한 조건(다양한 배경, 시야 각도, 물리적 구현 포함)에서 강건성을 보였으며, 물리적 실현 가능성과 유니버설리티를 확인했다.
• 적대적 예제들은 신호등 존재와 벌이 파리로 잘못 분류되는 유사한 특징-클래스 연관성을 드러내었으며, 이는 타겟 지향적 복사/붙여넣기 실험을 통해 후속 확인되었다.
• 이러한 특징 수준의 예제를 기반으로 한 적대적 훈련은 모델의 강건성을 향상시켰으며, 픽셀 수준의 공격을 넘어서 일반적인 적대적 강건성을 향상시키는 데의 가치를 시사했다.
• 이 방법은 사회적으로 해로운 편향의 발견을 가능하게 하였으며, 예를 들어 특정 시각적 패tern에 대한 모델의 과도한 의존성을 진단하고 검증하는 데에 유용한 해석 가능성 프레임워크를 제공했다.