[논문 리뷰] A Provable Defense for Deep Residual Networks

Matthew Mirman, Gagandeep Singh외 1명|arXiv (Cornell University)|2019. 03. 29.

Adversarial Robustness in Machine Learning참고 문헌 44인용 수 17

한 줄 요약

이 논문은 다양한 해석 가능한 해석을 사용한 확장 가능한 방식으로, ResNet-34 및 DenseNet-100과 같은 대규모 모델에서 검증 가능한 강건성 확보를 위한 증명 가능 방어를 소개한다. 정밀도 제어를 위한 추상 레이어와 복잡한 학습 목표를 조합할 수 있는 도메인 특화 언어(DSL)를 제안하여, ℓ∞ 노이즈에 대한 보장된 강건성을 갖춘 ImageNet 크기의 네트워크에 대해 처음으로 증명 가능 방어 학습을 달성한다.

ABSTRACT

We present a training system, which can provably defend significantly larger neural networks than previously possible, including ResNet-34 and DenseNet-100. Our approach is based on differentiable abstract interpretation and introduces two novel concepts: (i) abstract layers for fine-tuning the precision and scalability of the abstraction, (ii) a flexible domain specific language (DSL) for describing training objectives that combine abstract and concrete losses with arbitrary specifications. Our training method is implemented in the DiffAI system.

연구 동기 및 목표

• ResNet-34와 같은 대규모 딥 리텐셔널 네트워크에 대해 확장 가능하고 증명 가능한 강건성 학습이 부족한 문제를 해결하기 위해.
• 이전 방법들이 최대 두 개의 컨볼루션 레이어를 가진 소규모 네트워크에서만 증명 가능한 강건성을 달성한 점을 극복하기 위해.
• 형식적 검증을 통해 ℓ∞ 적대적 공격에 대해 보장된 강건성을 갖춘 딥 네트워크 학습을 가능하게 하기 위해.
• 실제 배포에 적합한 확장 가능한 방어를 위한, 형식적 검증을 엔드 투 엔드 학습과 통합한 시스템을 개발하기 위해.

제안 방법

• 표준 추론에 영향을 주지 않지만, 추상 해석 기반 검증의 정밀도와 확장성을 향상시키는 전용 레이어인 추상 레이어를 도입한다.
• 입력 노이즈에 대한 네트워크 출력의 타당한 초과 근사값을 계산하기 위해 가역 가능한 추상 해석을 활용한다.
• 추상 손실과 실체 손실을 결합하고 임의의 강건성 사양을 포함하는 하이브리드 학습 목표를 지정하기 위해 유연한 도메인 특화 언어(DSL)를 설계한다.
• DiffAI 시스템을 사용해 DSL과 추상 해석을 통합하여, 증명 가능한 강건성 보장을 갖는 엔드 투 엔드 가역 학습을 수행한다.
• 각 레이어에 대해 추상 변환기를 적용하여, ℓ∞ 유한한 입력 노이즈 집합 내에서 네트워크 행동을 초과 근사하는 전역 추상 변환기를 구성한다.
• 이중 방법과 추상 해석을 활용해 학습 중에 증명 가능한 강건성 증명서를 도출하여, 주어진 노이즈 반경 내 모든 입력에 대해 강건성을 보장한다.

실험 결과

연구 질문

• RQ1 추상 레이어는 대규모 리텐셔널 네트워크에 대해 추상 해석의 정밀도와 확장성 향상에 기여할 수 있는가?
• RQ2 하이브리드 학습 목표를 지정하기 위한 DSL은 증명 가능 방어 학습에서 실체 손실과 추상 손실을 효과적으로 조합할 수 있는가?
• RQ3 ℓ∞ 적대적 공격에 대해 형식적 보장을 갖는 ResNet-34 모델을 학습하는 것이 가능한가?
• RQ4 이전 방법이 소규모 아키텍처에서만 작동한 것과 비교해, 제안된 방법은 더 큰 네트워크에 대해 어떻게 확장되는가?
• RQ5 학습 루프에 형식적 검증을 통합하면 ImageNet 크기의 모델에 대해 실용적이고 확장 가능한 방어를 얻을 수 있는가?

주요 결과

• 제안된 방법은 헤 등이 (2016)가 제안한 가장 작은 리텐셔널 네트워크 아키텍처인 ResNet-34에 대해 증명 가능한 강건성을 달성하여 중요한 전환점이 되었다.
• 시스템은 DenseNet-100을 성공적으로 방어하여 소규모 네트워크를 넘어선 확장성을 입증했다.
• 추상 레이어의 사용은 표준 추론에 영향을 주지 않으면서도 추상화의 정밀도를 향상시켜 더 날카운 강건성 경계를 가능하게 했다.
• DSL은 복잡한 학습 목표를 영리하게 지정할 수 있게 해주었으며, 추상 손실과 실체 손실을 조합해 강건성을 향상시켰다.
• 이 방법은 최대 1,800만 개의 파라미터와 311,000개의 뉴런을 가진 네트워크로 확장 가능하여, 이전의 증명 가능 방어 학습 방법보다 크기 약 10배 증가를 이뤘다.
• 이 방법은 ImageNet 크기의 모델에 대해 검증 가능한 강건성을 달성하여, 딥 러닝의 형식적 강건성 분야에서 핵심적인 발전을 이룩했다.