[논문 리뷰] A Zeroth-Order Block Coordinate Descent Algorithm for Huge-Scale Black-Box Optimization

HanQin Cai, Yuchen Lou외 2명|arXiv (Cornell University)|2021. 02. 21.

Adversarial Robustness in Machine Learning참고 문헌 51인용 수 5

한 줄 요약

이 논문은 차원 $d$ 에서의 하위선형 쿼리 및 계산 복잡도를 갖는 초월 스케일 블랙박스 최적화를 위한 제로스터드 블록 좌표 하강 알고리즘인 ZO-BCD를 제안한다. 이 알고리즘은 웨이블릿 도메인에서 작동함으로써 신경망 분류기에서 효율적인 대비 공격을 가능하게 하여, 최소한의 왜곡으로 오디오 분류기에서 97.9%의 성공률을 달성하며, 수백만 차원이 넘는 문제에서 최신 기술 수준의 성능을 보여준다.

ABSTRACT

We consider the zeroth-order optimization problem in the huge-scale setting, where the dimension of the problem is so large that performing even basic vector operations on the decision variables is infeasible. In this paper, we propose a novel algorithm, coined ZO-BCD, that exhibits favorable overall query complexity and has a much smaller per-iteration computational complexity. In addition, we discuss how the memory footprint of ZO-BCD can be reduced even further by the clever use of circulant measurement matrices. As an application of our new method, we propose the idea of crafting adversarial attacks on neural network based classifiers in a wavelet domain, which can result in problem dimensions of over 1.7 million. In particular, we show that crafting adversarial examples to audio classifiers in a wavelet domain can achieve the state-of-the-art attack success rate of 97.9%.

연구 동기 및 목표

• 차원 수 $d > 10^7$ 인 초거대 스케일 환경에서 표준 벡터 연산이 불가능한 상황에서 제로스터드 최적화의 과제를 해결한다.
• 기존 제로스터드 방법의 높은 쿼리 복잡도(차원 $d$ 와 선형적으로 증가)를 극복한다.
• 쿼리 복잡도와 반복당 계산 비용이 $d$ 에 대해 하위선형인 알고리즘을 개발하여, 이전에 볼 수 없었던 크기의 문제에 대한 최적화를 가능하게 한다.
• 순환 측정 행렬을 사용하여 메모리 사용량을 줄여, 실제 초고차원 문제에 대한 실용성을 확보한다.
• 웨이블릿 도메인에서의 편향을 이용한 신경망 분류기 대비 공격을 통해 방법의 효과성을 입증한다. 이는 낮은 왜곡으로 높은 성공률을 달성한다.

제안 방법

• 제로스터드 기울기 추정을 사용하여 변수 블록을 순차적으로 갱신하는 제로스터드 블록 좌표 하강 알고리즘인 ZO-BCD를 제안한다.
• 순환 행렬을 사용한 무작위 투영을 통해 메모리 및 계산 비용을 줄이면서도 쿼리 효율성을 유지한다.
• 기울기의 희박성 구조(예: $s$-희박 기울기)를 활용하여 쿼리 복잡도를 $d$ 가 아닌 $s$ 에 따라 스케일링한다.
• 함수 평가만을 사용하여 유한 차분을 통한 기울기 추정을 통해 블랙박스 최적화에 적용한다.
• 입력 공간을 웨이블릿 도메인으로 변환하여 희박성을 활용하고 효과적 차원을 감소시켜 대비 공격 생성에 유리하게 한다.
• 전체 차원의 벡터 연산을 피하기 위해 블록 단위 갱신을 적용하여 $d > 10^6$ 에까지 확장 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 초거대 스케일 블랙박스 문제에서 $d$ 에 대해 하위선형 쿼리 복잡도를 갖는 제로스터드 최적화 알고리즘이 가능할 수 있는가?
• RQ2 이러한 알고리즘이 수렴을 보장하면서도 반복당 낮은 계산 및 메모리 비용을 유지할 수 있는가?
• RQ3 이 방법은 오디오나 이미지와 같은 초고차원 공간에서의 대비 공격 생성에 효과적으로 적용될 수 있는가?
• RQ4 웨이블릿 도메인에서의 작동이 블랙박스 환경에서 높은 공격 성공률을 유지하면서도 낮은 왜곡을 가능하게 하는가?
• RQ5 순환 측정 행렬의 사용이 쿼리 효율성을 훼손하지 않으면서도 메모리 사용량을 크게 줄일 수 있는가?

주요 결과

• 웨이블릿 도메인 편향을 사용하여 오디오 분류기에서 대상 공격 성공률 97.93%를 달성하였으며, 평균 왜곡은 -6.32 dB였다.
• ImageNet 기반 Inception-v3 모델에 대한 공격에서 기록적인 낮은 $\ell_2$ 왜곡 13.7과 함께 96%의 성공률을 기록하였다.
• 알고리즘의 쿼리 복잡도는 $d$ 에 대해 하위선형으로 스케일링되어, 170만 개 이상의 차원을 갖는 문제에서도 성능을 발휘하였다.
• 순환 측정 행렬을 사용함으로써 메모리 사용량이 극적으로 감소하여 초초고차원 문제에서도 계산이 가능해졌다.
• 웨이블릿 도메인 공격 프레임워크는 오디오 분류기에서 이전 최신 기술 수준의 방법보다 성공률과 왜곡 측면에서 모두 뛰어난 성능을 보였다.
• 실험 결과, 공격 차원이 수백만을 초월하더라도 ZO-BCD는 최소한의 청각적 왜곡을 갖는 대비 예제를 생성할 수 있었다.