[논문 리뷰] Interpreting Adversarial Examples with Attributes

Sadaf Gulshad, Jan Hendrik Metzen외 2명|arXiv (Cornell University)|2019. 04. 17.

Adversarial Robustness in Machine Learning참고 문헌 51인용 수 6

한 줄 요약

이 논문은 깨끗한 이미지와 적대적 이미지 양쪽에 대해 색상, 형태, 질감과 같은 클래스별 시각적 특징을 예측하고 이미지 영역에 정렬함으로써 적대적 예제를 해석하는 방법을 제안한다. 클래스 관련성과 이미지 관련성에 따라 특징을 순위화함으로써, 모델은 오분류를 설명한다: 적대적 예제는 네트워크가 잘못된 클래스와 일치하는 허구적 특징을 예측하고 정렬하기 때문에 오분류되며, 깨끗한 이미지는 올바른 특징에 의해 정당화된다.

ABSTRACT

Deep computer vision systems being vulnerable to imperceptible and carefully crafted noise have raised questions regarding the robustness of their decisions. We take a step back and approach this problem from an orthogonal direction. We propose to enable black-box neural networks to justify their reasoning both for clean and for adversarial examples by leveraging attributes, i.e. visually discriminative properties of objects. We rank attributes based on their class relevance, i.e. how the classification decision changes when the input is visually slightly perturbed, as well as image relevance, i.e. how well the attributes can be localized on both clean and perturbed images. We present comprehensive experiments for attribute prediction, adversarial example generation, adversarially robust learning, and their qualitative and quantitative analysis using predicted attributes on three benchmark datasets.

연구 동기 및 목표

• 딥 뉴럴 네트워크가 왜 적대적 예제를 잘못 분류하는지, 결정을 이끄는 기초가 되는 시각적 특성 분석을 통해 이해하기 위해.
• 시각적으로 구분 가능한 특징을 사용하여 깨끗한 이미지와 적대적 이미지 예측에 대해 설명 가능한 정당성을 제공하기 위해.
• 예측된 특징을 이미지 영역에 정렬함으로써 적대적 내성과 모델의 해석 가능성 간 격차를 메우기 위해.
• 표준 모델과 적대적 훈련으로 훈련된 모델을 대상으로, 다양한 특징 정밀도를 가진 벤치마크 데이터셋을 사용해 성능 평가하기 위해.

제안 방법

• 예측된 클래스와 가장 관련성이 높은 특징을 우선순위에 따라 배치하는 순위 기반 특징 예측 헤드를 훈련하여 이미지 특징을 클래스 특징 공간으로 매핑한다.
• 더 빠른 R-CNN 기반의 객체 부분 검출기를 사용하여, 경계 상자들을 통해 이미지 내에서 특징의 시각적 증거를 국소화함으로써 예측된 특징을 정렬한다.
• 비타겟 공격(예: FGSM, PGD)을 통해 생성된 적대적 예제와 깨끗한 이미지 양쪽에 프레임워크를 적용한다.
• 특징 정밀도가 다양하고 클래스 유사도가 다른 세 가지 벤치마크 데이터셋(CUB, AWA, LAD)에서 모델 성능을 평가한다.
• 표준 모델과 적대적 훈련으로 훈련된 모델 간 예측 및 정렬된 특징을 비교하여 내성성 평가한다.
• 클래스 관련성(특징을 변형했을 때 예측이 얼마나 변하는지)과 이미지 관련성(국소화 정확도)을 사용해 특징의 관련성 수치화한다.

실험 결과

연구 질문

• RQ1 깨끗한 이미지와 적대적 이미지 간에 예측된 특징는 어떻게 다를지, 그리고 올바른 클래스 또는 잘못된 클래스와 일치하는가?
• RQ2 특징 정렬이 적대적 예제에서 오분류를 이끄는 시각적 증거를 드러내는가?
• RQ3 적대적 내성 모델은 얼마나 깨끗한 이미지와 유사한 특징 기반 정당성을 회복하는가?
• RQ4 다양한 특징 정밀도(세분화된 vs. 굵은)를 가진 데이터셋 간에 특징 예측과 정렬은 어떻게 달라지는가?

주요 결과

• 적대적 예제는 잘못된 클래스와 일치하는 허구적 특징을 예측하고 정렬하기 때문에 오분류된다. 예를 들어, 흰 배와 흰 머리와 같은 특징이 흰수리가 아니라 붓내개비를 잘못 분류하는 데 기여한다.
• 비타겟 공격에서는 적대적 이미지에서 잘못된 클래스와 높은 중첩을 보이는 정렬된 특징가 나타나지만, 깨끗한 이미지는 자신의 정확한 클래스에만 해당하는 특징에 의해 정당화된다.
• 타겟 공격의 경우, 적대적 이미지에 정렬된 특징는 주로 목표 클래스의 특징이며, 정확한 클래스의 특징에 대한 시각적 증거는 없어진다.
• 적대적 훈련된 모델은 적대적 입력에서도 정확한 클래스와 유사한 특징 예측과 정렬을 생성하여, 올바른 추론 방향으로의 정렬이 향상됨을 보여준다.
• AWA와 LAD와 같은 굵은 정밀도 데이터셋에서는 정확한 클래스와 적대적 클래스 간 특징 중첩 수가 적어, 정렬된 특징에서 더 명확한 시각적 차이를 보인다.
• 특징 '파란 머리'와 '검은 날개'는 적대적 훈련된 이미지에서 정확하게 예측되고 정렬되지만, 표준 모델에서는 부재하거나 잘못 국소화되어 있어, 특징 수준의 일관성 향상을 통한 내성성 향상가 확인된다.