[논문 리뷰] A Convex Relaxation Barrier to Tight Robustness Verification of Neural Networks

Hadi Salman, Greg Yang외 3명|arXiv (Cornell University)|2019. 02. 23.

Adversarial Robustness in Machine Learning참고 문헌 45인용 수 78

한 줄 요약

논문은 LP-완화 신경망 검증기를 단일 볼록 완화 프레임워크로 통합하고, 이 완화를 강화하는 데 장애물이 있음을 증명하며, 최적의 완화가 MNIST/CIFAR-10 실험에서 경험적 공격과의 격차를 해소하지 못함을 보인다.

ABSTRACT

Verification of neural networks enables us to gauge their robustness against adversarial attacks. Verification algorithms fall into two categories: exact verifiers that run in exponential time and relaxed verifiers that are efficient but incomplete. In this paper, we unify all existing LP-relaxed verifiers, to the best of our knowledge, under a general convex relaxation framework. This framework works for neural networks with diverse architectures and nonlinearities and covers both primal and dual views of robustness verification. We further prove strong duality between the primal and dual problems under very mild conditions. Next, we perform large-scale experiments, amounting to more than 22 CPU-years, to obtain exact solution to the convex-relaxed problem that is optimal within our framework for ReLU networks. We find the exact solution does not significantly improve upon the gap between PGD and existing relaxed verifiers for various networks trained normally or robustly on MNIST and CIFAR datasets. Our results suggest there is an inherent barrier to tight verification for the large class of methods captured by our framework. We discuss possible causes of this barrier and potential future directions for bypassing it. Our code and trained models are available at http://github.com/Hadisalman/robust-verify-benchmark .

연구 동기 및 목표

• 신경망 강인성 검증을 위한 기존 LP-완화 검증기를 포괄하는 단일 통합 볼록 완화 프레임워크를 정의한다.
• 레이어별 볼록 완화의 이론적 한계(장벽)와 검증 엄밀성에 대한 함의를 조사한다.
• 다양한 네트워크와 데이터셋(MNIST, CIFAR-10)에서 PGD 공격 및 MILP 검증자에 대해 최적 볼록 완화를 경험적으로 평가한다.
• 장벽을 우회하고 강인성 검증을 향상시킬 수 있는 잠재적 방향을 논의한다.

제안 방법

• 비선형 활성화의 볼록 완화를 포함한 L-레이어 피드포워드 네트워크의 검증 문제를 정식화한다.
• verification 목표를 경계하는 원시 문제와 이중 문제의 볼록 완화를 도출하고, 일반적 비선형성에 대한 최적의 볼록 완화를 포함한다.
• 완화된 원시 문제의 이중 문제와 원래 문제의 이중 문제 간의 등가성(강한 이중성)을 약한 조건 하에 보인다.
• 선형 bound로 이중 문제를 그리드 없이 해결하여 기존 방법(Fast-Lin, CROWN 등)을 특수한 경우로 회수한다.
• 대규모 실험에서 LP-완화 검증자(LP-all, LP-greedy, LP-last)를 PGD 및 MILP 기준선과 비교한다.

실험 결과

연구 질문

• RQ1 하나의 볼록 완화 프레임워크가 모든 기존의 LP-완화 신경망 검증자를 포괄할 수 있는가?
• RQ2 레이어별 볼록 완화에 본질적 장벽이 있어 강인성 검증의 엄밀함을 제한하는가?
• RQ3 최적의 레이어별 볼록 완화가 기존 방법에 비해 강인성 인증을 크게 개선하는가?
• RQ4 표준 벤치마크에서 가장 촘촘한 볼록 완화 검증과 경험적 공격(PGD), 정확한 MILP 검증자 간의 차이를 어떻게 비교되는가?
• RQ5 식별된 장벽을 우회하여 더 촘촘한 강인성 검증을 달성할 수 있는 방향은 무엇인가?

주요 결과

• 통합된 원시-이중 볼록 완화 프레임워크가 신경망 강인성 검증을 위한 기존의 LP-완화 검증자들을 포괄한다.
• 최적의 레이어별 볼록 완화가 PGD 상한 또는 MILP 정확 결과와의 격차를 해소하지 못하는 장벽이 존재한다.
• MNIST와 CIFAR-10 전반에서 가장 좋은 볼록 완화도 기존 완화 대비 하한에서의 개선이 미미하고 경험적 공격과의 격차를 제거하지 못한다.
• 그리드 방식 없이 이중 문제를 해결하는 탐욕적 해법은 기존 방법(Fast-Lin, DeepPoly/CROWN)을 특수 사례로 회수하게 하여 통일 프레임워크 내에 연결한다.
• 대규모 실험은 레일러(ReLU) 네트워크에 대해 장벽이 보편적임을 시사하며, 레이어별 볼록 완화를 넘어서는 향후 연구의 필요성을 제시한다.