[논문 리뷰] Provable Defense Against Delusive Poisoning

Lue Tao, Lei Feng외 3명|arXiv (Cornell University)|2021. 02. 09.

Adversarial Robustness in Machine Learning참고 문헌 52인용 수 6

한 줄 요약

이 논문은 적대적 훈련을 통해 잘못된 레이블이 부여된 예시에 대한 최소한의 변형이 모델 성능을 악화시키는 기만적 훼손 공격에 대해 증명 가능하게 효과적인 방어책으로 제안한다. 공격를 ∞-Wasserstein 구내의 최악의 경우 분포 이탈로 수식화함으로써, 저자들은 적대적 리스크를 최소화하면 자연 리스크의 상한선을 제공함을 보여주며, 이는 적대적 훈련이 비저항성 특징에 대한 과도한 의존을 방지하고 표준 데이터셋에서 여섯 가지 실용적 공격에 저항함을 시사한다.

ABSTRACT

Delusive poisoning is a special kind of attack to obstruct learning, where the learning performance could be significantly deteriorated by only manipulating (even slightly) the features of correctly labeled training examples. By formalizing this malicious attack as finding the worst-case distribution shift at training time within a specific $\infty$-Wasserstein ball, we show that minimizing adversarial risk on the poison data is equivalent to optimizing an upper bound of natural risk on the original data. This implies that adversarial training can be a principled defense method against delusive poisoning. To further understand the internal mechanism of the defense, we disclose that adversarial training can resist the training distribution shift by preventing the learner from overly relying on non-robust features in a natural setting. Finally, we complement our theoretical findings with a set of experiments on popular benchmark datasets, which shows that the defense withstands six different practical attacks. Both theoretical and empirical results vote for adversarial training when confronted with delusive poisoning.

연구 동기 및 목표

• 기만적 훼손을 원래 데이터 분포 주변의 ∞-Wasserstein 구내 내의 분포 이탈로 수식화하기.
• 적대적 리스크 최소화와 자연 리스크 일반화 사이의 이론적 연결 고리 확립하기.
• 적대적 훈련이 비저항성 특징에 대한 의존도를 줄임으로써 기만적 훼손에 저항하는 이유 설명하기.
• 표준 벤치마크 데이터셋에서 여섯 가지 실용적 기만적 훼손 공격에 대해 방어책의 실증적 검증 수행하기.

제안 방법

• 원래 데이터 분포 주변의 ∞-Wasserstein 구내로 제약된 최악의 경우 분포 이탈로 기만적 훼손 모델링하기.
• 훼손된 데이터에서 적대적 리스크를 최소화하면 원래 데이터 분포에 대한 자연 리스크 상한선이 제공됨을 증명하기.
• 이 등가성을 활용해 적대적 훈련을 원칙적인 방어 수단으로 정당화하기.
• 미세한 데이터 변형이 존재하는 상황에서 비저항성 특징에 대한 과도한 피팅을 방지하는 적대적 훈련의 내부 메커니즘 분석하기.
• 표준 적대적 훈련 절차(예: PGD 기반 최적화)를 사용해 기만적 훼손에 대비한 방어 수행하기.
• 여섯 가지 다른 실용적 공격 설정에서 표준 벤치마크 데이터셋에 대해 방어책 평가하기.

실험 결과

연구 질문

• RQ1 적대적 훈련이 기만적 훼손 공격에 대해 이론적으로 정당화될 수 있는가?
• RQ2 훼손된 데이터에서 적대적 리스크를 최소화하는 것이 청소년 데이터의 자연 리스크를 상한선으로 제한하는 것과 동일한가?
• RQ3 적대적 훈련은 기만적 훼손이 유도하는 분포 이탈의 영향을 어떻게 완화하는가?
• RQ4 비저항성 특징은 기만적 훼손에 대한 취약성에 어떤 역할을 하는가?
• RQ5 제안된 방어책은 다양한 실용적 공격 시나리오에서도 효과를 유지하는가?

주요 결과

• 적대적 훈련은 자연 리스크의 증명 가능한 상한선을 최소화함으로써 기만적 훼손에 대한 효과성에 대한 이론적 근거를 제공한다.
• 이 방어책은 미세한 입력 변형에 취약한 비저항성 특징에 대한 모델 의존도를 줄임으로써 작동한다.
• 이론적 분석은 기만적 훼손이 ∞-Wasserstein 제약 조건 내에서 유도하는 분포 이탈을 적대적 훈련이 상쇄함을 확인한다.
• 실증 결과는 표준 벤치마크 데이터셋에서 여섯 가지 다른 실용적 기만적 훼손 공격에 대한 저항성을 보여준다.
• 다양한 데이터 분포와 공격 유형에 걸쳐 높은 성능 유지로 일반화 능력이 검증된다.