[논문 리뷰] Min-Max Optimization without Gradients: Convergence and Applications to Adversarial ML

Sijia Liu, Songtao Lu외 6명|arXiv (Cornell University)|2019. 09. 30.

Adversarial Robustness in Machine Learning참고 문헌 66인용 수 18

한 줄 요약

이 논문은 함수 값 쿼리만을 사용하여 기울기를 추정하는 쿼리 효율적인 제로차수 기울기 추정기와 교차로 진행되는 확률적 경사하강/상승 방법을 조합함으로써 기울기 없이 블랙박스 기계학습 환경에서의 적대적 공격을 가능하게 하는 제로차수 최소-최대 최적화 프레임워크인 ZO-Min-Max를 제안한다. 이는 $\mathcal{O}(1/T + 1/b + d/q)$의 하위선형 수렴 속도를 달성하며 고차원 모델에서의 블랙박스 회피 및 오염 공격에서 뛰어난 확장성과 효과성을 보인다.

ABSTRACT

In this paper, we study the problem of constrained robust (min-max) optimization ina black-box setting, where the desired optimizer cannot access the gradients of the objective function but may query its values. We present a principled optimization framework, integrating a zeroth-order (ZO) gradient estimator with an alternating projected stochastic gradient descent-ascent method, where the former only requires a small number of function queries and the later needs just one-step descent/ascent update. We show that the proposed framework, referred to as ZO-Min-Max, has a sub-linear convergence rate under mild conditions and scales gracefully with problem size. From an application side, we explore a promising connection between black-box min-max optimization and black-box evasion and poisoning attacks in adversarial machine learning (ML). Our empirical evaluations on these use cases demonstrate the effectiveness of our approach and its scalability to dimensions that prohibit using recent black-box solvers.

연구 동기 및 목표

• 기울기가 이용 불가능한 환경에서 제약 조건이 있는 최소-최대 최적화 문제를 해결하는 데 목적을 두며.
• 일阶 정보에 의존하지 않고도 적대적 예제 및 오염 공격을 생성하기 위한 확장 가능하고 증명 가능한 수렴성을 갖춘 방법을 개발하는 데 목적을 두며.
• 비볼록-강하게 볼록인 설정 하에서 제로차수 최소-최대 최적화의 이론적 수렴 보장을 수립하는 데 목적을 두며.
• 실제 적대적 머신러닝 응용 분야인 회피 및 오염 공격에서의 방법의 실용적 효과성과 확장성을 입증하는 데 목적을 두며.

제안 방법

• 기본 함수 평가만을 사용하여 기울기를 근사하는 랜덤화된 제로차수(ZO) 기울기 추정기를 통합하여 최소한의 쿼리로 기울기를 추정한다.
• 효율적인 최적화를 위해 단일 스텝 업데이트를 사용하는 교차로 진행되는 투영된 확률적 경사하강/상승 기법을 적용한다.
• 앙상블 공격에서 다양한 모델-클래스 쌍 간의 공격 성능를 균형 잡기 위해 중요도 가중치를 사용한다.
• 고차원 공간에서 기울기를 근사하기 위해 $q$개의 랜덤 방향 벡터를 사용하는 확률적 ZO 기울기 추정기를 적용한다.
• 스토캐스틱 업데이트의 분산을 줄이기 위해 배치 크기 $b$를 사용하는 미니배치 전략을 구현한다.
• 목적 함수의 스토캐스틱성과 ZO 추정 오차를 모두 고려한 수렴 경계를 유도한다.

실험 결과

연구 질문

• RQ1 기능 값 쿼리만을 사용하는 제로차수 최소-최대 최적화 프레임워크가 기울기가 없는 블랙박스 환경에서 증명 가능한 수렴성을 달성할 수 있는가?
• RQ2 제안된 ZO-Min-Max 방법은 적대적 공격 생성 시 문제의 차원 증가에 따라 어떻게 확장되는가?
• RQ3 중요도 가중치는 앙상블 블랙박스 공격의 강건성에 어떤 영향을 미치는가?
• RQ4 공격 성공률과 모델 정확도 저하 측면에서 ZO-Min-Max는 일阶 기반 기준보다 어떻게 비교되는가?
• RQ5 다양한 정규화 파rameter 설정에서 청소정확도와 오염 효과성 사이의 상충 관계는 어떠한가?

주요 결과

• ZO-Min-Max는 $\mathcal{O}(1/T + 1/b + d/q)$의 하위선형 수렴 속도를 달성하여 온화한 조건 하에서 이론적 수렴성을 입증한다.
• 이 방법은 블랙박스 회피 공격에서 모든 모델-클래스 쌍에 대해 80%의 성공률을 달성하는 유니버설 편향을 성공적으로 생성한다.
• 오직 5%의 오염 비율만으로도 모델 테스트 정확도를 크게 떨어뜨려 오염 공격에서 높은 효과성을 보인다.
• 정규화 파rameter $\lambda$를 증가시키면 오염된 모델의 정확도는 향상되지만 청소 모델의 정확도는 감소하여 강건성-정확도 상충 관계를 확인한다.
• ZO-Min-Max가 학습한 중요도 가중치는 공격 난이도와 상관관계가 있으며, 더 강건한 모델-클래스 쌍(M1C1)에 더 높은 가중치를 할당한다.
• 실험 결과 ZO-Min-Max는 모두 회피 및 오염 공격 성능에서 ZO-Finite-Sum 및 FO-Min-Max 기준보다 뛰어나다.