[논문 리뷰] Learning under $p$-Tampering Attacks
이 논문은 목표 학습 설정에서 더 강력한 품질 훼손 공격을 가능하게 하기 위해 유계 실수 값 함수의 기대값을 증가시키는 개선된 $p$-변형 공격을 제안한다. 실현 가능성 조건이 성립할 경우 $p$-변형 공격 하에서도 PAC 학습이 가능하다는 것을 증명하지만, 올바른 레이블을 가진 악성 예제를 선택적으로 선택할 수 있는 강력한 $p$-예산 공격 하에서는 불가능해진다.
Recently, Mahloujifar and Mahmoody (TCC'17) studied attacks against learning algorithms using a special case of Valiant's malicious noise, called $p$-tampering, in which the adversary gets to change any training example with independent probability $p$ but is limited to only choose malicious examples with correct labels. They obtained $p$-tampering attacks that increase the error probability in the so called targeted poisoning model in which the adversary's goal is to increase the loss of the trained hypothesis over a particular test example. At the heart of their attack was an efficient algorithm to bias the expected value of any bounded real-output function through $p$-tampering. In this work, we present new biasing attacks for increasing the expected value of bounded real-valued functions. Our improved biasing attacks, directly imply improved $p$-tampering attacks against learners in the targeted poisoning model. As a bonus, our attacks come with considerably simpler analysis. We also study the possibility of PAC learning under $p$-tampering attacks in the non-targeted (aka indiscriminate) setting where the adversary's goal is to increase the risk of the generated hypothesis (for a random test example). We show that PAC learning is possible under $p$-tampering poisoning attacks essentially whenever it is possible in the realizable setting without the attacks. We further show that PAC learning under "correct-label" adversarial noise is not possible in general, if the adversary could choose the (still limited to only $p$ fraction of) tampered examples that she substitutes with adversarially chosen ones. Our formal model for such "bounded-budget" tampering attackers is inspired by the notions of (strong) adaptive corruption in secure multi-party computation.
연구 동기 및 목표
- 유계 실수 값 함수의 기대값을 편향시키는 데 더 효과적인 $p$-변형 공격을 개발하여 목표 학습 환경에서의 품질 훼손 공격 능력을 향상시키는 것.
- $p$-변형 공격 하에서 비목표(무차별적) 설정에서의 PAC 학습 가능성을 분석하는 것. 여기서 악성 공격자는 임의의 테스트 예제에 대한 위험을 증가시키는 것을 목표로 한다.
- 강력한 $p$-예산 공격 하에서, 올바른 레이블을 가진 악성 예제를 선택적으로 선택할 수 있는 경우, PAC 학습의 한계를 조사하는 것. 이는 $p$ 비율 이내로 제한된 경우에도 해당된다.
- 안전한 다중 당사자 계산에 영감을 얻은, 유계 예산 변형을 위한 형식적 모델을 제공하여, 약한 및 강력한 공격자 능력 간의 차이를 명확히 하는 것.
- 강력한 $p$-예산 공격이 존재할 경우 달성 가능한 정확도 및 신뢰도의 날카로운 경계를 설정하며, 이는 악성 노이즈 하에서의 학습에 대한 함의를 포함한다.
제안 방법
- 모든 유계 실수 값 함수의 기대값을 $p$-변형 하에서 효율적으로 증가시키는 새로운 $p$-변형 편향 공격을 제안한다.
- 기존 연구 대비 성능 향상과 분석의 단순화를 위해, $p$-리셋 편향 공격 변형을 도입한다.
- 이deal 편향 공격의 다항식 시간 근사치를 개발하여 학습 알고리즘에 실용적으로 구현할 수 있도록 한다.
- Chernoff 경계를 사용하여 $p$-변형 동안 공격자가 예산을 소진할 확률을 분석함으로써, 높은 성공 확률을 보장한다.
- 두 개념인 $c_0$과 $c_1$을 사용한 분포적 추론을 통해 공격 하에서의 구별 불가능성을 보이며, 어떤 학습자도 이들을 신뢰성 있게 구분할 수 없음을 증명한다.
- 집중 불등식과 조건부 확률을 적용하여 학습된 가설의 위험을 경계함으로써, 표본 크기와는 무관하게 오차가 항상 $\Omega(1/k) = \Omega(p)$ 이상으로 유지됨을 보여준다.
실험 결과
연구 질문
- RQ1$p$-변형 공격를 개선하여, 학습 환경에서 유계 실수 값 함수의 기대값을 더 효과적으로 편향시킬 수 있는가?
- RQ2목표 개념이 실현 가능할 경우, 비목표(무차별적) 설정에서 $p$-변형 공격 하에서도 PAC 학습이 여전히 가능한가?
- RQ3강력한 $p$-예산 공격 하에서, 올바른 레이블을 가진 악성 예제를 선택적으로 선택할 수 있을 경우, PAC 학습의 한계는 무엇인가?
- RQ4오류 레이블을 사용하지 않고도, 유도된 분포 방법을 $p$-변형 맥락에서 부정적 결과를 증명하는 데 적응시킬 수 있는가?
- RQ5강력한 $p$-예산 공격 하에서 달성 가능한 정확도 또는 신뢰도에 대한 $\omega(p)$ 하한값에 대해 상한값이 존재하는가?
주요 결과
- 제안된 $p$-변형 및 $p$-리셋 편향 공격는 유계 실수 값 함수의 기대값을 증가시키는 능력을 크게 향상시켜 더 강력한 품질 훼손 공격를 가능하게 한다.
- 비목표 설정에서의 $p$-변형 공격 하에서도, 공격 없이 실현 가능할 경우에만 PAC 학습이 가능하므로, 이러한 노이즈 하에서도 강건함을 보인다.
- 강력한 $p$-예산 공격 하에서는, 조건이 $p$ 비율 이내로 제한되더라도, 올바른 레이블을 가진 악성 예제를 선택적으로 선택할 수 있을 경우, PAC 학습은 불가능하다.
- 강력한 $p$-예산 공격 하에서 달성 가능한 정확도 또는 신뢰도의 하한값은 $\omega(p)$이며, 이는 임의로 많은 예제를 가질 수록 $p$ 이하의 오차나 신뢰도를 달성할 수 없다는 의미이다.
- 분석 결과, 어떤 학습 알고리즘이라도 표본 크기와는 무관하게 오차 또는 신뢰도 파rameter 중 적어도 하나는 항상 $\Omega(1/k) = \Omega(p)$ 이상으로 유지됨을 보여준다.
- 증명은 공격자가 공격하는 하에서 구별 불가능한 두 분포를 구성하는 데 의존하며, 이는 공격 전략을 완전히 알고 있더라도 어떤 학습자도 진짜 개념을 신뢰성 있게 식별할 수 없음을 의미한다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.