[논문 리뷰] Adversarial Robustness of Streaming Algorithms through Importance Sampling

Vladimir Braverman, Avinatan Hassidim외 4명|arXiv (Cornell University)|2021. 06. 28.

Adversarial Robustness in Machine Learning참고 문헌 57인용 수 15

한 줄 요약

이 논문은 중요도 샘플링과 머지-앤드-리덕션 파라다임을 활용하여 회귀, 군집, 저랭크 근사와 같은 기초적인 기계학습 및 수치선형대수 문제에 대해 적대적 공격에 강인한 스트리밍 알고리즘을 제안한다. 중요도 샘플링 기반 방법은 스케칭 기반 접근과는 달리 적대적 공격자에 대해 본질적으로 강인하며, 하위선형 공간과 다항로그 메모리로 고확률 강인성을 달성하여, k-means, 주성분 분석(PCA), 비음수 행렬 분해와 같은 문제들에 대해 새로운 알고리즘 설계 없이도 처음으로 이러한 결과를 이룬다.

ABSTRACT

In this paper, we introduce adversarially robust streaming algorithms for central machine learning and algorithmic tasks, such as regression and clustering, as well as their more general counterparts, subspace embedding, low-rank approximation, and coreset construction. For regression and other numerical linear algebra related tasks, we consider the row arrival streaming model. Our results are based on a simple, but powerful, observation that many importance sampling-based algorithms give rise to adversarial robustness which is in contrast to sketching based algorithms, which are very prevalent in the streaming literature but suffer from adversarial attacks. In addition, we show that the well-known merge and reduce paradigm in streaming is adversarially robust. Since the merge and reduce paradigm allows coreset constructions in the streaming setting, we thus obtain robust algorithms for $k$-means, $k$-median, $k$-center, Bregman clustering, projective clustering, principal component analysis (PCA) and non-negative matrix factorization. To the best of our knowledge, these are the first adversarially robust results for these problems yet require no new algorithmic implementations. Finally, we empirically confirm the robustness of our algorithms on various adversarial attacks and demonstrate that by contrast, some common existing algorithms are not robust. (Abstract shortened to meet arXiv limits)

연구 동기 및 목표

• 기존 스트리밍 알고리즘이 알고리즘 출력을 기반으로 입력을 조작하는 적대적 공격자에게 취약한 점을 해결하기 위해.
• 스케칭 기반 방법과는 대조적으로 중요도 샘플링 기반 알고리즘이 적대적 스트리밍 공격에 본질적으로 강인하다는 것을 입증하기 위해.
• 스트리밍 모델에서 핵심 문제인 k-means, k-median, PCA, 비음수 행렬 분해에 대해 처음으로 적대적 강인 알고리즘을 제공하기 위해.
• 머지-앤드-리덕션 파라다임이 다양한 군집 및 차원 축소 작업에 걸쳐 강인 코어세트 구축을 가능하게 하여 강인성을 확장할 수 있음을 보여주기 위해.
• 적대적 공격 하에서 제안된 알고리즘의 강인성을 실증적으로 검증하면서, 기존 스트리밍 알고리즘의 취약성을 동시에 입증하기 위해.

제안 방법

• 중요도 샘플링을 사용하여 스트리밍 데이터에 대해 강인 추정기 구축을 수행하며, 샘플링 확률은 안정적인 통계량(예: 리지드 스코어 또는 간선 연결성)에 기반한다.
• 프리드먼 부등식을 활용한 마팅글 기반 분석을 통해 적대적 간선 삽입 상황에서 컷 스퍼서피어의 이탈을 제한한다.
• 데이터 구조를 재귀적으로 통합함으로써 강인성을 보장하는 계층적 집계 단계를 보장하기 위해 머지-앤드-리덕션 프레임워크를 적용한다.
• 중요도 샘플링이 스케칭 방법과 달리 적응형 피드백 상황에서도 농도 성질을 유지한다는 사실을 활용한다.
• 모든 컷에 대해 고확률 컷 스퍼서피어 보장을 확보하기 위해 ρ = Ω((log n + log m)/ε²)의 파rameterized 샘플링 비율을 사용한다.
• 모든 가능한 컷에 대한 유니온 바운드를 적용하며, 컷 수의 결정론적 경계(n^{2α} for size ακ₁)를 사용하여 실패 확률를 제어한다.

실험 결과

연구 질문

• RQ1 중요도 샘플링 기반 스트리밍 알고리즘이 알고리즘 출력을 관찰하고 이를 바탕으로 입력을 조작하는 적대적 공격자에 대해 증명 가능하게 강인한가?
• RQ2 왜 스케칭 기반 알고리즘은 적대적 스트리밍 환경에서 실패하는 반면, 중요도 샘플링 기반 알고리즘은 강인한가?
• RQ3 머지-앤드-리덕션 파라다임을 사용하여 군집 및 차원 축소 작업에 대해 적대적 강인 코어세트를 구축할 수 있는가?
• RQ4 기본 알고리즘 원천을 재설계하지 않고도 스트리밍 모델에서 k-means, k-median, PCA에 대해 적대적 강인성을 달성할 수 있는가?
• RQ5 고확률 강인성을 확보하기 위해 필요한 최소한의 메모리 및 샘플링 오버헤드는 얼마인가?

주요 결과

• 중요도 샘플링 기반 알고리즘은 스케칭 기반 방법과는 달리 내부 무작위성 유출로 인해 적대적 스트리밍에 본질적으로 강인하다.
• 이 논문은 스트리밍 모델에서 k-means, k-median, k-center, Bregman 군집, 프로젝티브 군집, PCA, 비음수 행렬 분해에 대해 처음으로 적대적 강인 알고리즘을 확립한다.
• 하위선형 공간과 다항로그 메모리로만, 새로운 알고리즘 설계 없이도 표준 중요도 샘플링과 머지-앤드-리덕션을 사용하여 강인성을 달성한다.
• ρ = Ω((log n + log m)/ε²)일 경우 실패 확률가 1/poly(n) 이하로 제한되어 고확률 정확성을 보장한다.
• 실증 평가 결과 제안된 알고리즘이 적대적 공격 하에서도 정확도를 유지하는 반면, 기존 알고리즘은 동일 조건에서 실패함을 확인하였다.
• 분석 결과 강인 스퍼서피어 H의 간선 수는 최적값의 O(κ² log n / ε²) 배이며, 여기서 κ = κ₂/κ₁는 최대 컷 크기와 최소 컷 크기의 비율이다.