[논문 리뷰] Universal Multi-Party Poisoning Attacks

Saeed Mahloujifar, Mohammad Mahmoody외 1명|arXiv (Cornell University)|2018. 09. 10.

Privacy-Preserving Technologies in Data인용 수 11

한 줄 요약

이 논문은 다자간 학습에서 $k$명의 당사자 중 $m$명의 당사자 중 $k$명을 제어하는 악성 공격자가 총변화 거리에서 정직한 데이터와 $p$-근접한 데이터를 제출하는 일반적인 $(k,p)$-공격을 제안한다. 이러한 공격이 최종 모델의 악성 가설 성질의 확률을 $\mu$에서 $\mu^{1-pk/m}$로 증가시키며, 청소된 레이블과 온라인 적응을 통해 $\Omega(p \cdot k/m)$의 증가를 보장함을 증명한다.

ABSTRACT

In this work, we demonstrate universal multi-party poisoning attacks that adapt and apply to any multi-party learning process with arbitrary interaction pattern between the parties. More generally, we introduce and study $(k,p)$-poisoning attacks in which an adversary controls $k\in[m]$ of the parties, and for each corrupted party $P_i$, the adversary submits some poisoned data $\mathcal{T}'_i$ on behalf of $P_i$ that is still ``$(1-p)$-close'' to the correct data $\mathcal{T}_i$ (e.g., $1-p$ fraction of $\mathcal{T}'_i$ is still honestly generated). We prove that for any ``bad'' property $B$ of the final trained hypothesis $h$ (e.g., $h$ failing on a particular test example or having ``large'' risk) that has an arbitrarily small constant probability of happening without the attack, there always is a $(k,p)$-poisoning attack that increases the probability of $B$ from $μ$ to by $μ^{1-p \cdot k/m} = μ+ Ω(p \cdot k/m)$. Our attack only uses clean labels, and it is online. More generally, we prove that for any bounded function $f(x_1,\dots,x_n) \in [0,1]$ defined over an $n$-step random process $\mathbf{X} = (x_1,\dots,x_n)$, an adversary who can override each of the $n$ blocks with even dependent probability $p$ can increase the expected output by at least $Ω(p \cdot \mathrm{Var}[f(\mathbf{x})])$.

연구 동기 및 목표

• 분산 학습에서 실제 악성 데이터 손상 상황을 포괄하는 일반적인 다자간 공격 모델을 체계화하는 것.
• 공격자가 $m$명의 데이터 제공자 중 $k$명을 제어하고 총변화 거리에서 정직한 데이터와 $p$-근접한 데이터를 제출할 수 있을 때, 이러한 공격의 본질적 능력을 분석하는 것.
• 이러한 공격이 학습 알고리즘 또는 상호작용 패턴에 관계없이 최종 모델에서 악성 성질의 발생 가능성을 항상 증가시킨다는 것을 증명하는 것.
• 실패 확률의 증가에 대한 엄밀한 정량적 경계를 확립하여, 각 당사자에 대한 최소한의 손상 조건에서도 $\Omega(p \cdot k/m)$의 증가를 보여주는 것.
• 공격이 효율적이고 온라인으로 작동하며, 청소된 레이블만을 사용하므로 실용적이며 탐지하기 어려운지 보여주는 것.

제안 방법

• 공격자가 $k$명의 당사자를 제어하고 총변화 거리에서 원래 분포와 $p$-근접한 데이터를 제출하는 $(k,p)$-공격 모델을 도입한다.
• 다자간 학습 과정을 $\mathbf{x} = (x_1, \dots, x_n)$로 표현하며, 각 $x_i$는 한 당사자로부터 온 데이터 블록에 대응한다.
• 시퀀스 위에 정의된 함수 $f$를 통해 악성 성질 $B$를 기술한다 (예: 테스트 예측에서의 모델 실패 또는 높은 위험도).
• 공격자가 $k$명의 당사자를 무작위로 선택하고, 각 당사자에 대해 확률 $p$로 독립적으로 조작하는 커버링 기반의 변조 전략을 사용하며, 이는 라운드에 대해 $(p \cdot k/m)$-커버링을 형성한다.
• 일반화된 $p$-변조 정리(정리 3.5)를 적용하여 $f$의 기댓값이 최소 $\Omega(p \cdot \mathrm{Var}[f(\overline{\mathbf{x}})])$ 만큼 증가함을 보인다.
• 평균화 원리와 농도 불등식을 활용하여, 통계적 거리 제약 조건 하에서도 악성 성질 $B$의 발생 확률 증가에 대한 하한을 유도한다.

실험 결과

연구 질문

• RQ1 모든 다자간 학습 프로토콜에 대해 작동하는 일반적인 공격을 구성할 수 있는가? 이는 상호작용 패턴이나 학습 알고리즘에 관계없이 가능할까?
• RQ2 공격자가 $k$명의 당사자를 제어하고 정직한 데이터와 $p$-근접한 데이터를 제출할 때, 악성 모델 성질 $B$의 발생 확률은 최대 얼마나 증가할 수 있는가?
• RQ3 공격의 강도는 공격받은 당사자 수 $k$, 근접도 파라미터 $p$, 총 당사자 수 $m$에 따라 어떻게 스케일링되는가?
• RQ4 이러한 공격은 효율적이고 온라인으로 구성될 수 있으며, 청소된 레이블만을 사용하고 학습 알고리즘의 내부 구조를 알 필요 없이 작동할 수 있는가?
• RQ5 임의의 유계 함수 $f$에 대해 데이터 시퀀스 위에서 실패 확률 증가에 대한 엄밀한 정량적 경계가 항상 성립하는가?

주요 결과

• 모든 다자간 학습 프로토콜에 대해, 악성 성질 $B$의 발생 확률을 $\mu$에서 $\mu^{1 - pk/m}$로 증가시키는 $(k,p)$-공격이 존재하며, 이는 최소한 $\mu + \Omega(pk/m)$의 증가를 포함한다.
• 공격은 보편적이며, 온라인 및 순차적 데이터 공유를 포함한 임의의 상호작용 패tern을 가진 모든 학습 과정에 적용 가능하다.
• 공격자는 원래 분포와 $p$-근접한 데이터를 제출하더라도, 악성 성질의 발생 확률에 대해 $\Omega(pk/m)$의 증가를 보장하는 것으로 입증된다.
• 이 방법은 효율적이고 온라인으로 작동하며, 청소된 레이블만 필요하고 학습 알고리즘의 내부 구조에 대한 액세스가 필요하지 않다.
• 공격는 통계적 거리 제약 조건에 강건하다: 공격자의 데이터는 정직한 데이터와 $p$-총변화 거리 이내에 유지되어 탐지하기 어렵다.
• 이론적 경계는 엄밀하며, 커버링 기반의 변조 전략과 분산 기반 분석을 통해 유도되었으며, 베르누이 및 체르노프 유형의 농도 불등식을 사용한 명시적 농도 경계가 포함되어 있다.