[논문 리뷰] A randomized gradient-free attack on ReLU networks

Francesco Croce, Matthias Hein|arXiv (Cornell University)|2018. 11. 28.

Adversarial Robustness in Machine Learning참고 문헌 6인용 수 5

한 줄 요약

이 논문은 ReLU 신경망을 대상으로 하여 선형 영역 내에서 최적화하는 방식으로 ReLU 네트워크의 조각별 애프인 기하학적 구조를 활용하는 새로운 무작위화된 기울기 없는 공격 rLR-QP를 제안한다. 18개 실험 중 17개에서 최신 기술인 Carlini-Wagner 공격을 능가하며, 적대적 편향의 효율성에서 최대 9%의 상대적 향상을 달성한다.

ABSTRACT

It has recently been shown that neural networks but also other classifiers are vulnerable to so called adversarial attacks e.g. in object recognition an almost non-perceivable change of the image changes the decision of the classifier. Relatively fast heuristics have been proposed to produce these adversarial inputs but the problem of finding the optimal adversarial input, that is with the minimal change of the input, is NP-hard. While methods based on mixed-integer optimization which find the optimal adversarial input have been developed, they do not scale to large networks. Currently, the attack scheme proposed by Carlini and Wagner is considered to produce the best adversarial inputs. In this paper we propose a new attack scheme for the class of ReLU networks based on a direct optimization on the resulting linear regions. In our experimental validation we improve in all except one experiment out of 18 over the Carlini-Wagner attack with a relative improvement of up to 9\%. As our approach is based on the geometrical structure of ReLU networks, it is less susceptible to defences targeting their functional properties.

연구 동기 및 목표

• 기울기 기반 방어에 덜 민감한 더 효과적이고 견고한 ReLU 신경망을 위한 적대적 공격 방법을 개발하기 위해.
• 정확한 혼합정수 최적화 방법의 확장성 한계를 해결하면서, Carlini-Wagner와 같은 히우리스틱 공격을 향상시키기 위해.
• 특히 ReLU 네트워크의 조각별 애프인 성질을 활용하여 최소한의 적대적 편향을 찾기 위해 그 기하학적 구조를 활용하기 위해.
• 기하학적 구조를 고려한 공격이 최신 기울기 기반 방법보다 열등한 적대적 예제를 생성할 수 있음을 입증하기 위해.

제안 방법

• 공격를 ReLU 네트워크의 각 선형 영역 내에서 이차계획문으로 설정하며, 이 경우 분류기는 애프인이다.
• 기울기에 의존하지 않으며 기울기 기반 방어에 취약성이 줄어들도록, 무작위 국소 탐색 전략을 사용하여 선형 영역을 탐색한다.
• 이전의 적대적 예제를 온전한 시작점으로 사용하여 반복적인 정밀 조정을 수행함으로써 점차적으로 편향의 품질을 향상시킨다.
• 검색 공간을 초기화하기 위해 이진 탐색을 사용하고, 각 선형 영역 내에서 이차계획문을 해결하기 위해 Gurobi 솔버를 활용한다.
• 완전히 연결된 신경망, 잔차 신경망, 그리고 ReLU 및 풀링 레이어를 사용하는 컨volutional 네트워크와 호환되도록 설계되어 있다.
• CPU 기반 최적화를 사용하여 MATLAB로 구현되었으며, 향후 확장성을 높이기 위해 GPU로 이식할 계획이다.

실험 결과

연구 질문

• RQ1 ReLU 네트워크의 기하학적 구조를 활용하는 기울기 없는 공격가 최신 기울기 기반 공격인 Carlini-Wagner를 능가할 수 있는가?
• RQ2 rLR-QP 방법의 성능은 다양한 네트워크 아키텍처와 데이터셋에서 Carlini-Wagner 및 DeepFool과 비교해 어떻게 되는가?
• RQ3 탐색 과정의 반복적 정밀 조정이 적대적 예제의 품질 향상에 얼마나 기여하는가?
• RQ4 기울기와 같은 기능적 성질을 타깃으로 삼는 방어에 대해 이 방법은 더 견고한가?
• RQ5 이 방법은 컨volutional 네트워크와 같은 더 깊고 복잡한 아키텍처로 확장할 수 있는가?

주요 결과

• rLR-QP 공격는 18개 실험 중 17개에서 Carlini-Wagner 공격를 능가하며, 편향 크기에서 최대 9%의 상대적 향상을 기록했다.
• 평균적으로 rLR-QP 방법은 DeepFool 대비 $l_2$-노름을 110% 감소시켜 상당한 성능 향상을 보였다.
• 초기 실행 후에도 알고리즘의 반복이 일관된 향상을 이끌어내었으며, 다섯 번째 반복에서 최대 45.7%의 향상이 관찰되었다.
• 기울기 의존성이 없기 때문에 기울기 기반 방어에 대해 견고하여, 모델의 견고성 평가에 더 강력한 도구가 된다.
• 반복 과정에서의 점진적 향상은 더 많은 선형 영역을 탐색할수록 성능 향상이 더욱 높아질 수 있음을 시사한다.
• 이 방법은 MNIST, CIFAR-10, SVHN에서 효과적이며, max/avg-pooling과 ReLU 활성화를 사용하는 컨볼루션 네트워크로도 확장 가능하다.