[논문 리뷰] Robust Nonparametric Regression under Poisoning Attack

Puning Zhao, Zhiguo Wan|arXiv (Cornell University)|2023. 05. 26.

Statistical Methods and Inference인용 수 5

한 줄 요약

이 논문은 오염 공격 하에서 강건한 비모수적 회귀 방법을 제안하며, Huber 손실 기반 M-추정기와 국소 추정 실패를 보정하기 위한 리프시츠 투영을 활용한다. 보정된 추정기는 샘플 크기의 로그 인자까지 거의 최소 최대 최적 오차율을 달성하며, 표준 방법이 실패하는 집중된 공격 상황에서 성능이 크게 향상된다.

ABSTRACT

This paper studies robust nonparametric regression, in which an adversarial attacker can modify the values of up to $q$ samples from a training dataset of size $N$. Our initial solution is an M-estimator based on Huber loss minimization. Compared with simple kernel regression, i.e. the Nadaraya-Watson estimator, this method can significantly weaken the impact of malicious samples on the regression performance. We provide the convergence rate as well as the corresponding minimax lower bound. The result shows that, with proper bandwidth selection, $\ell_\infty$ error is minimax optimal. The $\ell_2$ error is optimal with relatively small $q$, but is suboptimal with larger $q$. The reason is that this estimator is vulnerable if there are many attacked samples concentrating in a small region. To address this issue, we propose a correction method by projecting the initial estimate to the space of Lipschitz functions. The final estimate is nearly minimax optimal for arbitrary $q$, up to a $\ln N$ factor.

연구 동기 및 목표

• 비모수적 회귀의 오염 공격에 대한 취약성을 해결하기 위해, 크기가 N인 데이터셋에서 최대 q개의 샘플이 공격자에 의해 수정되는 상황을 대비한다.
• 최소 최대 하한을 사용하여 이러한 공격 하에서 강건한 비모수적 회귀의 이론적 한계를 분석한다.
• 공격 샘플이 국소 영역에 집중되어 있을 경우에도 최적 수렴 속도를 유지할 수 있는 방법을 설계한다.
• 함수 연속성을 리프시츠 투영을 통해 활용하여, 초기 M-추정기의 국소 과도한 오염 지역에서의 실패를 보정한다.

제안 방법

• 적대적 오염 상황에서 강건성과 일致성을 균형 잡기 위해 Huber 손실 최소화 기반의 M-추정기를 제안한다.
• 작은 잔차에 대해서는 제곱형, 큰 잔차에 대해서는 선형인 가중 Huber 손실을 사용하여 외곽치에 대한 민감도를 감소시킨다.
• 리프시츠 연속성과 서브지수 노이즈 가정 하에서 ℓ₂ 및 ℓ∞ 위험의 수렴 속도를 유도한다.
• 초기 추정치를 ℓ₁ 최소화를 통해 리프시츠 함수 공간에 투영하는 보정 단계를 도입하여 부드러움을 강제한다.
• 보정된 추정기는 집중된 공격 조건에서도 여전히 ln N 인자까지 거의 최소 최대 최적이다.
• 적응형 대역폭과 필터링을 활용한 커널 기반 추정을 통해 국소 강건성을 향상시키면서도 전역 일치성을 유지한다.

실험 결과

연구 질문

• RQ1 오염 공격 하에서 강건한 비모수적 회귀의 이론적 한계는 무엇이며, 이는 오염 샘플 수 q와 데이터셋 크기 N에 어떻게 의존하는가?
• RQ2 작은 q에 대해서는 최적임에도 불구하고, 왜 초기 Huber 기반 M-추정기는 집중된 공격 하에서 실패하는가?
• RQ3 기저 함수의 리프시츠 연속성과 같은 구조적 가정을 통합함으로써 추정 오차를 개선할 수 있는가?
• RQ4 후처리 보정 단계를 통해 임의의 q에 대해 거의 최소 최대 최적성의 ℓ₂ 위험을 달성할 수 있는가?
• RQ5 랜덤 공격과 집중된 공격 모두에서 제안된 방법의 성능이 트리밍 평균과 메디안 오브 메디안과 비교해 어떻게 되는가?

주요 결과

• 초기 Huber 기반 M-추정기는 적대적 오염 조건 하에서도 ℓ∞ 오차율을 최소 최대 최적으로 달성한다.
• 작은 q에 대해서는 초기 추정기의 ℓ₂ 오차 역시 최소 최대 최적이다. 그러나 q가 증가함에 따라 국소 집중된 공격으로 인해 비최적화된다.
• 비최적화는 집중된 공격가 국소 이웃을 뒤흔들어 초기 추정기가 과도한 오염 영역에서 신뢰할 수 없게 만들기 때문이다.
• 제안된 리프시츠 투영을 통한 보정은 특히 초기 추정기가 실패하는 상황에서 추정 오차를 크게 감소시킨다.
• 보정된 추정기는 ln N 인자까지 거의 최소 최대 최적의 ℓ₂ 위험을 달성하며, 강력한 이론적 강건성을 보여준다.
• UCI 데이터셋에 대한 실증 결과는 보정된 추정기가 커널 회귀, 트리밍 평균, 메디안 오브 메디안을 모두 능가하며, 특히 집중된 공격 상황에서 RMSE가 일부 경우 최대 50% 감소함을 보였다.