[논문 리뷰] Guarding Against Adversarial Domain Shifts with Counterfactual Regularization.

Christina Heinze‐Deml, Nicolai Meinshausen|arXiv (Cornell University)|2017. 10. 31.

Adversarial Robustness in Machine Learning참고 문헌 57인용 수 32

한 줄 요약

이 논문은 이미지 분류에서 변형 가능한 스타일 특징(예: 회전, 자세, 이미지 품질)에 의해 유도되는 적대적 도메인 이동에 대비하기 위해 반사적 정규화를 제안한다. 동일한 기본 객체에서 유도된 이미지 그룹을 스타일 특징에 대한 간섭 하에서 반사적 사례로 모델링함으로써, 그룹 인식 기반 정규화를 통해 불변성을 강제함으로써 변형 가능한 특징에 의존하지 않고도 강건성을 향상시킨다.

ABSTRACT

When training a deep network for image classification, one can broadly distinguish between two types of latent features of images that will drive the classification: (i) immutable or core features that are inherent to the object in question and do not change substantially from one instance of the object to another and (ii) or features such as position, rotation or image quality but also more complex ones like hair color or posture for images of persons. The distribution of the style features can change in the future. While transfer learning would try to adapt to a shift in the distribution(s), we here want to protect against future adversarial domain shifts, arising through changing style features, by ideally not using the mutable style features altogether. There are two broad scenarios and we show how exploiting grouping information in the data helps in both. (a) If the style features are known explicitly (e.g. rotation) one usually proceeds by using data augmentation. By exploiting the grouping information about which original image an augmented sample belongs to, we can reduce the sample size required to achieve invariance to the style feature in question. (b) Sometimes the style features are not known explicitly but we still have information about samples that belong to the same underlying object (such as different pictures of the same person). By constraining the classification to give the same forecast for all instances that belong to the same object, we show how using this grouping information leads to invariance to such implicit style features and helps to protect against adversarial domain shifts. We provide a causal framework for the problem and treat groups of instances of the same object as counterfactuals under different interventions on the mutable style features. We show links to questions of fairness, transfer learning and adversarial examples.

연구 동기 및 목표

• 이미지 분류에서 회전, 조명, 자세 등의 변형 가능한 스타일 특징의 변화로 인한 적대적 도메인 이동 문제를 해결하기 위해.
• 동일한 기본 객체의 변형에 대해 불변성을 강제함으로써 스타일 특징에 대한 의존도를 줄이기 위한 방법을 개발하기 위해.
• 동일한 객체의 스타일 변형을 간섭으로 간주하는 반사적 사례로 모델링하기 위한 인과적 프레임워크를 제공하기 위해.
• 비핵심이지만 변형 가능한 이미지 특징에 대한 민감도를 최소화함으로써 전이 학습 및 공정성에서의 강건성을 향상시키기 위해.
• 공정성, 적대적 강건성, 도메인 이동 개념을 반사적 정규화 접근법을 통해 통합하기 위해.

제안 방법

• 동일한 객체에 属하는 이미지 그룹을 스타일 특징에 대한 간섭(예: 회전, 조명) 하에서 반사적 사례로 간주한다.
• 증강 또는 변형된 이미지가 원본 소스와 연결된 그룹 정보를 사용하여 동일한 객체의 모든 변형에 대해 일관된 예측을 강제한다.
• 동일 그룹 내의 인스턴스 간 예측 분산을 방지하기 위한 정규화 손실을 적용함으로써 변형 가능한 스타일 특징에 대한 불변성을 촉진한다.
• 스타일 특징을 동일한 기본 객체에 대한 간섭으로 간주하는 구조적 인과 모델 내에서 문제를 공식화한다.
• 데이터 증강과 암묵적 그룹화(예: 동일한 사람의 여러 이미지)를 활용하여 명시적 스타일 레이블 없이도 반사적 샘플을 식별한다.
• 표준 딥 러닝 학습에 반사적 정규화를 통합하여 정확도와 불변성 모두를 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 어떻게 변형 가능한 스타일 특징(예: 회전 또는 이미지 품질)의 변화로 인한 딥 신경망의 적대적 도메인 이동을 방지할 수 있는가?
• RQ2 명시적 스타일 레이블이 없는 상황에서, 동일한 객체의 이미지에 대한 그룹 정보는 어떻게 불변성을 강제하는 데 사용될 수 있는가?
• RQ3 스타일 변형으로 인한 도메인 이동을 모델링할 때 반사적 추론의 역할은 무엇인가?
• RQ4 반사적 정규화는 전이 학습 및 공정성 설정에서 강건성을 어떻게 향상시키는가?
• RQ5 명시적 데이터 증강 또는 스타일 분리 없이도 스타일 특징에 대한 불변성을 달성할 수 있는가?

주요 결과

• 반사적 정규화는 그룹 내 구성원 간 일관된 예측을 강제함으로써 모델이 변형 가능한 스타일 특징에 대한 의존도를 크게 감소시킨다.
• 스タイル 특징이 명시적으로 알려져 있지 않더라도 그룹 정보만으로도 스타일 이동에 대한 불변성을 달성할 수 있다.
• 객체 그룹을 반사적 사례로 모델링함으로써, 도메인 이동 강건성과 공정성, 적대적 강건성 간의 인과적 연결 고리를 제공하는 프레임워크를 확립한다.
• 그룹 정보의 사용은 데이터 증강 하에서 불변성을 달성하기 위해 필요한 표본 수를 감소시킨다.
• 이 방법은 다양한 시나리오에 일반화된다: 증강을 통한 알려진 스타일 특징과 암묵적 그룹화를 통한 알려지지 않은 스타일 특징 모두 동일한 정규화 메커니즘의 이점을 얻는다.
• 실험 결과는 원래 분포에서의 정확도를 훼손하지 않으면서 분포 이동에 대한 강건성이 향상됨을 보여준다.