[논문 리뷰] Evaluating Robustness to Context-Sensitive Feature Perturbations of Different Granularities

Isaac Dunn, Laura Hanu외 3명|arXiv (Cornell University)|2020. 01. 29.

Adversarial Robustness in Machine Learning참고 문헌 58인용 수 9

한 줄 요약

이 논문은 생성 신경망 내 잠재 활성화 변화를 통해 다양한 분해능을 가진 맥락 민감형 특징 변화를 생성함으로써 딥 러닝 모델의 강건성을 평가하는 방법을 제안한다. 이는 픽셀 공간 변화에 대해 적대적 훈련을 수행하더라도 굵은 분해능의 의미 있는 변화에 대한 강건성을 향상시키지 못하고 오히려 악화시킴을 드러내며, 한 도메인에서의 강건성이 다른 도메인으로 일반화된다는 가정에 도전한다.

ABSTRACT

We cannot guarantee that training datasets are representative of the distribution of inputs that will be encountered during deployment. So we must have confidence that our models do not over-rely on this assumption. To this end, we introduce a new method that identifies context-sensitive feature perturbations (e.g. shape, location, texture, colour) to the inputs of image classifiers. We produce these changes by performing small adjustments to the activation values of different layers of a trained generative neural network. Perturbing at layers earlier in the generator causes changes to coarser-grained features; perturbations further on cause finer-grained changes. Unsurprisingly, we find that state-of-the-art classifiers are not robust to any such changes. More surprisingly, when it comes to coarse-grained feature changes, we find that adversarial training against pixel-space perturbations is not just unhelpful: it is counterproductive.

연구 동기 및 목표

• 실제 분포 이탈을 반영하는 다양한 분해능을 가진 맥락 민감형 특징 변화에 대해 이미지 분류기의 강건성을 평가하는 것.
• 세부적인 픽셀 변화에 대한 강건성이 고수준의 의미 있는 이미지 특징 변화로 일반화되는지 조사하는 것.
• 한정된 픽셀 변화에 대해 강건성을 향상시키기 위해 설계된 적대적 훈련이, 굵은 분해능의 맥락 민감형 변화에 대해 강건성을 떨어뜨리는지 평가하는 것.
• 다른 층에서 잠재 활성화를 조작함으로써 자연스럽고 의미적으로 일관된 변화를 생성하는 방법을 개발하는 것.

제안 방법

• 사전 훈련된 생성 신경망에서 잠재 활성화 값을 변화시켜 생성된 이미지의 맥락 민감형 특징 변화를 유도하는 것.
• 활성화를 수정하는 생성기의 층을 선택함으로써 변화의 분해능을 제어: 초기 층은 더 굵은 변화, 후기 층은 더 세밀한 변화를 유도함.
• 목표 분류 오류를 유도하면서도 시각적 타당성을 유지하는 최소한의 변화를 찾기 위해 기울기 기반 최적화 과정을 사용하는 것.
• 증폭 정도를 점차 증가시키며 오분류를 유발하는 변화의 비율을 측정함으로써 모델의 강건성을 평가하는 것.
• 진정한 이미지 레이블을 의미적으로 변화시키지 않는 변화는 제거하기 위해 인간 평가를 통합함으로써 의미 있는 변화만을 고려함.
• 다양한 변화 분해능에 대해 표준 및 적대적 훈련된 ImageNet 및 MNIST 분류기 간의 비교 수행.

실험 결과

연구 질문

• RQ1 한정된 픽셀 변화에 대해 적대적 훈련을 수행하는 것이 맥락 민감형 고수준 특징 변화에 대한 강건성을 향상시키는가?
• RQ2 최신 이미지 분류기의 강건성은 맥락 민감형 특징 변화의 다양한 분해능에 따라 어떻게 변화하는가?
• RQ3 의미적으로 일관성을 유지하는 맥락 민감형 변화는 표준 픽셀 단위 변화보다 더 효과적으로 모델의 취약점을 드러내는가?
• RQ4 세부적인 질감 및 색상 변화에 대한 강건성이 굵은 분해능의 형태 및 구조적 변화에 대한 강건성으로 일반화되는 정도는 어느 정도인가?

주요 결과

• 최신 이미지 분류기는 어떤 분해능의 맥락 민감형 특징 변화에도 강건하지 않으며, 이는 분포 이탈에 대한 근본적인 취약성을 시사한다.
• 픽셀 공간 변화에 대해 적대적 훈련을 수행하더라도 굵은 분해능의 맥락 민감형 변화에 대한 강건성을 향상시키지 못하고 오히려 크게 떨어뜨린다.
• MNIST에서는 적대적 훈련이 세부적인 변화(마지막 네 개의 생성기 층)에 대해 강건성을 향상시키지만, 굵은 분해능 변화(첫 네 개의 층)에는 효과가 없으며, 이는 동일한 추세가 스케일에 따라 유지됨을 확인한다.
• 적대적 훈련이 굵은 분해능 특징에 대한 강건성을 향상시키지 못하는 것은 이러한 모델이 더 많은 굵은 특징에 의존할 가능성이 있으며, 따라서 의미 수준의 이탈에 더 민감할 수 있음을 시사한다.
• 잠재 공간 조작을 통해 생성된 변화는 객체의 형태나 장면의 구조를 변화시키는 등 의미적으로 타당한 변화를 만들어내며, 표준 ℓp-노름 기반 변화보다 더 현실적이고 정보가 풍부하다.