[논문 리뷰] DSRNA: Differentiable Search of Robust Neural Architectures

Ramtin Hosseini, Xingyi Yang외 1명|arXiv (Cornell University)|2020. 12. 11.

Adversarial Robustness in Machine Learning참고 문헌 48인용 수 9

한 줄 요약

이 논문은 인증 가능한 하한과 잭오비안 노름 하한이라는 두 가지 미분 가능한 지표를 최대화함으로써 내재적으로 강건성을 최적화하는 DSRNA라는 미분 가능한 신경망 아키텍처 탐색 방법을 제안한다. 실험 결과, DSRNA는 CIFAR-10, ImageNet, MNIST에서 상태최고 수준의 정확도를 유지하면서 다양한 적대적 공격에 대해 뛰어난 강건성을 확보하였으며, 기존 기준보다 훨씬 높은 인증 가능한 하한을 확보하였다.

ABSTRACT

In deep learning applications, the architectures of deep neural networks are crucial in achieving high accuracy. Many methods have been proposed to search for high-performance neural architectures automatically. However, these searched architectures are prone to adversarial attacks. A small perturbation of the input data can render the architecture to change prediction outcomes significantly. To address this problem, we propose methods to perform differentiable search of robust neural architectures. In our methods, two differentiable metrics are defined to measure architectures' robustness, based on certified lower bound and Jacobian norm bound. Then we search for robust architectures by maximizing the robustness metrics. Different from previous approaches which aim to improve architectures' robustness in an implicit way: performing adversarial training and injecting random noise, our methods explicitly and directly maximize robustness metrics to harvest robust architectures. On CIFAR-10, ImageNet, and MNIST, we perform game-based evaluation and verification-based evaluation on the robustness of our methods. The experimental results show that our methods 1) are more robust to various norm-bound attacks than several robust NAS baselines; 2) are more accurate than baselines when there are no attacks; 3) have significantly higher certified lower bounds than baselines.

연구 동기 및 목표

• 기존 NAS 방법으로 탐색된 신경망 아키텍처가 적대적 공격에 취약한 문제를 해결하기 위해.
• 적대적 훈련과 같은 암묵적 방어에 의존하지 않고, 강건성을 명시적으로 최적화하는 미분 가능한 NAS 프레임워크를 개발하기 위해.
• 원칙적이고 확장 가능한 방식으로 아키텍처의 강건성을 정량화할 수 있는 미분 가능한 지표를 정의하기 위해.
• 다양한 공격 유형과 노름 제약 조건 하에서 탐색된 아키텍처의 강건성과 정확도를 평가하기 위해.
• 청결한 정확도를 희생시키지 않고도 강건성을 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 잔차 블록의 선형 근사 기반 인증 가능한 하한과 잭오비안 행렬의 행별 L2 노름 기반 잭오비안 노름 하한이라는 두 가지 미분 가능한 강건성 지표를 제안한다.
• 이 지표들을 DARTS 스타일의 미분 가능한 아키텍처 탐색 프레임워크에 통합하여, 아키텍처 탐색 과정에서 강건성을 직접 최대화하는 최적화 목표로 활용한다.
• DSRNA-Jacobian에서 효율적인 잭오비안 노름 하한 계산을 위해 일阶 테일러 근사법을 사용하여 정확도를 약간 희생하고서도 속도와 메모리 효율성을 확보한다.
• 개별 블록에 대해 선형 경계 기법을 적용하고, 이를 전체 아키텍처의 글로벌 인증 가능한 하한으로 조합한다.
• 게임 기반 및 검증 기반 평가를 통해 다양한 데이터셋과 공격 유형에서의 강건성을 평가한다.
• DARTS, PC-DARTS, P-DARTS와 같은 기존의 미분 가능한 NAS 방법과의 통합을 지원하여, 통합적이고 원칙적인 방식으로 강건성 향상을 실현한다.

실험 결과

연구 질문

• RQ1 미분 가능한 신경망 아키텍처 탐색이 미분 가능한 지표를 사용하여 적대적 강건성을 명시적으로 최적화할 수 있는가?
• RQ2 인증 가능한 하한과 잭오비안 노름 하한은 강건성 보장 수준과 계산 효율성 측면에서 어떻게 비교되는가?
• RQ3 청결한 정확도를 희생시키지 않고도 강건한 아키텍처를 탐색할 수 있는가, 또는 과도한 탐색 비용이 발생하는가?
• RQ4 다양한 적대적 공격에 대해 DSRNA의 강건성은 기존의 강건한 NAS 기준보다 어떻게 비교되는가?
• RQ5 탐색된 아키텍처가 ImageNet과 같은 더 큰 데이터셋으로 이식 가능한 정도는 어느 정도인가?

주요 결과

• CIFAR-10에서 DSRNA-CB와 DSRNA-Jacobian는 l2 및 linfty 노름 모두에서 모든 기준보다 더 높은 인증 가능한 하한을 확보하여 더 강력한 이론적 강건성 보장을 입증하였다.
• PGD, FGSM, C&W 공격 하에서 DSRNA 방법은 RobNet, SDARTS-ADV, PC-DARTS-ADV보다 모든 공격 유형에서 강건한 정확도에서 뛰어난 성능을 보였다.
• 공격이 존재하지 않을 경우, DSRNA는 ASAP와 유사한 정확도를 확보하였고 RobNet보다는 훨씬 높아, 강건성과 청결한 정확도 사이의 상충관계가 없음을 보였다.
• DSRNA-Jacobian는 DSRNA-CB보다 10배 빠르고 메모리 효율성이 뛰어나며, 강건성은 약간 떨어지지만 대규모 탐색에 실용적이다.
• ImageNet에서 DSRNA 방법은 모든 공격 유형에서 높은 강건성을 유지하였고 RobNet을 상당히 앞서며, FGSM 및 PGD 공격 하에서 SDARTS-ADV와 PC-DARTS-ADV와 동등하거나 뛰어난 정확도를 확보하였다.
• MNIST에서 DSRNA 방법은 C&W 공격 하에서 RobNet-large와 SDARTS-ADV보다 훨씬 더 강건하였고, PGD 및 FGSM 공격 하에서는 동등한 성능을 보였으며, RobNet-large보다 더 높은 청결한 정확도를 확보하였다.