[논문 리뷰] Neural Network Robustness as a Verification Property: A Principled Case Study

Marco Casadio, Ekaterina Komendantskaya외 5명|arXiv (Cornell University)|2021. 04. 03.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 신경망의 강건성에 대한 원칙적인 프레임워크를 수립하여 형식적 검증 성질로써의 강건성 분석을 가능하게 하며, 분류 강건성(CR), 강력한 분류 강건성(SCR), 표준 강건성(SR), 리프시츠 강건성(LR)을 비교한다. 학습, 검증, 공격 기반 평가를 통해 수행된다. 더 강력한 논리적 강건성 성질(예: LR)은 검증 성공률을 향상시키며, 더 나은 학습 및 구현 전략을 이끌어내지만, 해석 가능성과 실행 가능성 사이의 트레이드오프를 드러낸다.

ABSTRACT

Neural networks are very successful at detecting patterns in noisy data, and have become the technology of choice in many fields. However, their usefulness is hampered by their susceptibility to adversarial attacks. Recently, many methods for measuring and improving a network's robustness to adversarial perturbations have been proposed, and this growing body of research has given rise to numerous explicit or implicit notions of robustness. Connections between these notions are often subtle, and a systematic comparison between them is missing in the literature. In this paper we begin addressing this gap, by setting up general principles for the empirical analysis and evaluation of a network's robustness as a mathematical property - during the network's training phase, its verification, and after its deployment. We then apply these principles and conduct a case study that showcases the practical benefits of our general approach.

연구 동기 및 목표

• 딥 신경망에서 다양한 강건성 개념 간 체계적인 비교가 부족한 문제를 해결하기 위해.
• 학습, 검증 및 구현 과정에서 강건성을 형식적 검증 성질로 통합 평가하기 위한 통합 프레임워크를 수립하기 위해.
• 다양한 학습 기법이 암묵적 또는 명시적으로 어떤 강건성 성질을 강제로 이행하는지 조사하기 위해.
• 이러한 성질이 검증 성공률과 모델 신뢰성에 어떤 영향을 미치는지 평가하기 위해.
• 논리적 강도, 해석 가능성, 실행 가능성 간의 트레이드오프를 분석함으로써 설계 결정을 안내하기 위해.

제안 방법

• 저자들은 분류 강건성(CR), 강력한 분류 강건성(SCR), 표준 강건성(SR), 리프시츠 강건성(LR)의 네 가지 강건성 성질을 정의하며, 각각 형식적 논리적 정의를 제공한다.
• 주요 학습 방법—데이터 증강, 적대적 학습, 리프시츠 학습, 논리적 제약 조건 학습—이 이 성질들을 어떻게 유도하는지 분석한다.
• 학습과 형식적 검증, 성질 기반 공격을 통합한 지속적인 검증 사이클을 제안한다.
• Marabou 검증기(Marabou verifier)를 사용하여 다양한 강건성 가정 하에서 검증 성공률을 평가한다.
• 학습 파rameter를 조정하기 위해 제약 조건 만족도의 더 효율적인 대체 수단으로 제약 조건 보안(constraint security)을 도입한다.
• MNIST 및 CIFAR-10 데이터셋을 대상으로 성질 기반 공격 및 검증을 통한 실험적 검증을 수행한다.

실험 결과

연구 질문

• RQ1 다양한 학습 기법이 CR, SCR, SR, LR과 같은 형식적 강건성 성질에 어떻게 대응하는가?
• RQ2 이 강건성 성질들 간의 논리적 관계는 무엇인가—강도 순으로 정렬 가능한가, 아니면 상호 비교 불가인가?
• RQ3 강건성 성질의 선택이 실질적인 검증 성공률에 어떤 영향을 미치는가?
• RQ4 더 강력한 강건성 성질이 더 약한 성질의 검증을 얼마나 향상시키는가?
• RQ5 실제 DNN 구현 환경에서 논리적 강도, 해석 가능성, 실행 가능성 간의 트레이드오프는 어떤가?

주요 결과

• 정확도가 높은 기준 모델의 검증 성공률은 단지 0–1.5%에 불과하여, 강건성 제약 조건이 없는 표준 DNN의 검증이 얼마나 어려운지 확인한다.
• 더 강력한 강건성 성질(예: 리프시츠 강건성)을 학습하면 더 약한 성질(예: 표준 강건성)의 검증 성공률이 향상됨을 보여주며, 논리적 강도의 계층성이 존재함을 입증한다.
• 분류 강건성(CR)과 강력한 분류 강건성(SCR)은 학습 데이터 포인트가 결정 경계 근처에 있을 경우 논리적 모순을 일으킬 수 있다.
• 리프시츠 강건성(LR)은 가장 바람직하지만 해석이 가장 어려운 성질로, 입력 공간과 출력 공간 간의 거리 관계를 의미 있게 연결할 필요가 있기 때문이다.
• 제약 조건 보안은 지속적인 검증 루프의 파라미터 조정을 위한 제약 조건 만족도보다 더 효율적이고 세밀한 대체 수단을 제공한다.
• 본 연구는 더 강력한 강건성 성질이 검증에 더 효과적일 뿐 아니라, 논리적 제약 조건과 조합될 경우 더 신뢰성 있고 설명 가능한 모델을 도출함을 확인한다.