[논문 리뷰] Adversarially Robust Neural Architectures

Minjing Dong, Yanxi Li외 2명|arXiv (Cornell University)|2020. 09. 02.

Adversarial Robustness in Machine Learning참고 문헌 42인용 수 38

한 줄 요약

이 논문은 신경망 아키텍처 설계가 적대적 강건성에 미치는 영향을 연구하고, Lipschitz 기반 신뢰도 제약을 가진 학습 기반 아키텍처 탐색을 도입하여 강건한 아키텍처를 찾는다.

ABSTRACT

Deep Neural Networks (DNNs) are vulnerable to adversarial attacks. Existing methods are devoted to developing various robust training strategies or regularizations to update the weights of the neural network. But beyond the weights, the overall structure and information flow in the network are explicitly determined by the neural architecture, which remains unexplored. This paper thus aims to improve the adversarial robustness of the network from the architecture perspective. We explore the relationship among adversarial robustness, Lipschitz constant, and architecture parameters and show that an appropriate constraint on architecture parameters could reduce the Lipschitz constant to further improve the robustness. The importance of architecture parameters could vary from operation to operation or connection to connection. We approximate the Lipschitz constant of the entire network through a univariate log-normal distribution, whose mean and variance are related to architecture parameters. The confidence can be fulfilled through formulating a constraint on the distribution parameters based on the cumulative function. Compared with adversarially trained neural architectures searched by various NAS algorithms as well as efficient human-designed models, our algorithm empirically achieves the best performance among all the models under various attacks on different datasets.

연구 동기 및 목표

• NAS 프레임워크 하에서 적대적 강건성과 네트워크 아키텍처 간의 관계를 조사한다.
• 아키텍처 파라미터가 네트워크의 Lipschitz 상수에 미치는 영향을 도출한다.
• 파라미터를 분포에서 샘플링하는 Lipschitz 제약 아키텍처 탐색을 제안한다.
• 탐색 과정에서 아키텍처 파라미터의 불확실성을 정량화하고 활용하기 위한 신뢰도 학습을 도입한다.

제안 방법

• 아키텍처 파라미터의 함수로 네트워크 Lipschitz 상수를 근사하고 전체 Lipschitz 상수에 대한 경계 값을 도출한다.
• 연산 및 입력 가중치를 가진 미분 가능한 셀로 아키텍처를 표현하고 셀 간 Lipschitz 전파를 펼친다.
• 다변량 로그-정규 분포에서 아키텍처 파라미터를 샘플링하여 신뢰도 학습을 가능하게 한다.
• 로그-정규 근사와 신뢰도 하이퍼파라미터 η를 사용하여 누적 분포 제약(CDF 제약)으로 Lipschitz 제약을 형식화한다.
• 가중치와 아키텍처 분포 파라미터를 함께 최적화하기 위해 ADMM을 통해 제약된 최적화를 해결한다.
• 다양한 공격 하에서 적대적으로 학습된 NAS와 수작업으로 설계된 모델과 비교하는 효율적인 NAS 프레임워크(RACL)를 제공한다.

실험 결과

연구 질문

• RQ1 신경망 아키텍처가 Lipschitz 상수를 통해 어떻게 적대적 강건성에 영향을 미치는가?
• RQ2 분포에서 아키텍처 파라미터를 샘플링하고 Lipschitz 기반 제약을 적용하는 것이 과도한 적대적 학습 없이도 강건성을 향상시킬 수 있는가?
• RQ3 NAS 탐색 공간에서 신뢰도 학습이 강건한 아키텍처 경로를 탐색하는 데 미치는 효과는 무엇인가?
• RQ4 미분 가능한 NAS 프레임워크를 Lipschitz 제약과 아키텍처 파라미터의 신뢰도를 포함하도록 보강하려면 어떻게 해야 하는가?

주요 결과

• 제안된 프레임워크는 Lipschitz 상수 전파를 통해 NAS 셀 간에 강건성을 아키텍처와 연결한다.
• 아키텍처 파라미터를 샘플링하기 위해 로그-정규 분포를 사용하는 것은 미분 가능하고 신뢰도 인식 탐색을 가능하게 한다.
• 볼록 Lipschitz 제약이 도출되어 확률 기반(CDF) 형식으로 신뢰도 수준 η를 가진 상태로 강제된다.
• RACL은 여러 데이터셋과 공격에서 다른 NAS 방법과 최첨단 모델에 비해 우수한 강건성을 달성한다.
• 신뢰도 학습은 탐색 과정에서 낮은 신뢰도 옵션을 탐색하는 동시에 더 높은 신뢰성을 가진 아키텍처 경로를 선호하도록 탐색을 돕는다.