[논문 리뷰] Model-Targeted Poisoning Attacks with Provable Convergence

Fnu Suya, Saeed Mahloujifar외 3명|arXiv (Cornell University)|2020. 06. 30.

Adversarial Robustness in Machine Learning참고 문헌 35인용 수 7

한 줄 요약

이 논문은 온라인 볼록 최적화를 사용하여 특정 타겟 분류기로 확률적으로 수렴하는 모델 대상 포isons 공격을 제안한다. 점진적으로 포isons 포인트를 추가함으로써, 유도된 모델이 포isons 포인트 수의 제곱근에 반비례하는 비율로 타겟에 수렴함을 보장하며, 최소 필요 포인트 수에 대한 하한이 존재하여 이전 공격에 비해 성공률과 수렴 안정성에서 뛰어나다.

ABSTRACT

In a poisoning attack, an adversary with control over a small fraction of the training data attempts to select that data in a way that induces a corrupted model that misbehaves in favor of the adversary. We consider poisoning attacks against convex machine learning models and propose an efficient poisoning attack designed to induce a specified model. Unlike previous model-targeted poisoning attacks, our attack comes with provable convergence to {\it any} attainable target classifier. The distance from the induced classifier to the target classifier is inversely proportional to the square root of the number of poisoning points. We also provide a lower bound on the minimum number of poisoning points needed to achieve a given target classifier. Our method uses online convex optimization, so finds poisoning points incrementally. This provides more flexibility than previous attacks which require a priori assumption about the number of poisoning points. Our attack is the first model-targeted poisoning attack that provides provable convergence for convex models, and in our experiments, it either exceeds or matches state-of-the-art attacks in terms of attack success rate and distance to the target model.

연구 동기 및 목표

• 기존 포isons 공격가 지닌 국소 최적해 문제와 수렴 보장 부족의 한계를 해결하기 위해.
• 볼록 모델에서 임의의 도달 가능한 타겟 분류기로 확률적으로 수렴하는 모델 대상 공격을 설계하기 위해.
• 사전에 포isons 포인트 수를 알 필요 없이, 점진적이고 온라인 방식으로 포isons 데이터를 구성할 수 있도록 하기 위해.
• 타겟 모델로의 수렴을 위한 최소 포인트 수에 대한 이론적 하한을 제공하기 위해.
• 다양한 모델 가중치 초기화 및 배치 조건에서 공격의 효과성과 안정성을 향상시키기 위해.

제안 방법

• 공격은 온라인 볼록 최적화를 사용해 점진적으로 포isons 포인트를 생성하며, 고정된 배치 크기나 사전 지정된 포인트 수에 의존하지 않는다.
• 포isons 문제를 학습 목표에 대한 최소-최대 최적화 문제로 공식화하고, 타당성을 확보하기 위해 KKT 조건을 활용한다.
• 유도된 모델과 타겟 모델 간의 거리를 최소화함으로써 타겟 분류기로 수렴을 보장하며, 이는 포인트 수 n에 대해 O(1/√n)의 비율로 이루어진다.
• 후보 포인스 세트는 타겟 서브집단의 잘못 레이블링된 예제들로만 제한되어 공격 효율성을 향상시킨다.
• 각 반복에서 현재 모델과 타겟 모델 간의 손실 차이가 가장 큰 포인스 포인트를 선택함으로써 가장 효과적인 포인스 포인트를 선정한다.
• 일관된 초기화를 반복 간에 사용함으로써 모델 가중치 초기화의 변동성에 대해 공격이 강건해진다.

실험 결과

연구 질문

• RQ1 볼록 모델을 대상으로 하는 모델 대상 포isons 공격가 특정 타겟 분류기로 확률적으로 수렴할 수 있는가?
• RQ2 포인스 포인트 수와 타겟 모델로의 수렴 속도 사이의 이론적 관계는 무엇인가?
• RQ3 다양한 모델 가중치 초기화 및 데이터 배치 조건 하에서 공격 성능는 어떠한가?
• RQ4 성공률과 수렴 안정성 측면에서 표준 레이블 뒤집기 공격에 비해 공격가 승리할 수 있는가?
• RQ5 주어진 타겟 분류기를 달성하기 위해 필요한 최소 포인스 포인트 수는 얼마인가?

주요 결과

• 공격는 타겟 분류기로 확률적으로 수렴하며, 타겟과의 거리가 포인스 포인트 수 n에 대해 O(1/√n)의 비율로 감소한다.
• 특히 수렴 안정성과 공격 성공률 측면에서, 레이블 뒤집기 기반 공격에 비해 뚜렷한 성능 향상을 보였다.
• 모델 가중치 초기화가 알려지지 않은 상태에서도 공격는 레이블 뒤집기 기반 공격를 일관되게 능가했지만, 다양한 랜덤 시드에 따라 성능은 다소 변동성이 있었다.
• 타겟 서브집단의 잘못 레이블링된 예제들로만 구성된 후보 세트에 검색 공간을 제한함으로써 공격 효율성과 수렴 성능이 크게 향상되었다.
• 각 반복에 최적의 포인스 포인트를 최대 10개까지 복제함으로써 공격 실행 시간을 약 90% 감소시켰고, 효과성에 손상 없이 수행되었다.
• 반복 간 일관된 초기화를 사용할 경우, 데이터 배치 및 가중치 초기화의 변동성에 대해 공격가 강건함을 입증했다.