[논문 리뷰] Verification of Non-Linear Specifications for Neural Networks

Chongli Qin, Krishnamurthy외 8명|arXiv (Cornell University)|2019. 02. 25.

Adversarial Robustness in Machine Learning참고 문헌 35인용 수 15

한 줄 요약

이 논문은 비선형 성질을 검증하는 데 사용할 수 있는 볼록 근사 기법을 적용할 수 있는 비선형 성질의 클래스인 볼록 근사 가능 사양을 도입한다. 볼록 근사 기법을 사용하여 복잡한 신경망 성질—에너지 보존, 의미 일관성, 숫자 합 예측 정확도 등—의 효과적인 검증을 수행하며, 기존 선형 검증 기법이 놓치는 모델의 결함을 드러낸다.

ABSTRACT

Prior work on neural network verification has focused on specifications that are linear functions of the output of the network, e.g., invariance of the classifier output under adversarial perturbations of the input. In this paper, we extend verification algorithms to be able to certify richer properties of neural networks. To do this we introduce the class of convex-relaxable specifications, which constitute nonlinear specifications that can be verified using a convex relaxation. We show that a number of important properties of interest can be modeled within this class, including conservation of energy in a learned dynamics model of a physical system; semantic consistency of a classifier's output labels under adversarial perturbations and bounding errors in a system that predicts the summation of handwritten digits. Our experimental evaluation shows that our method is able to effectively verify these specifications. Moreover, our evaluation exposes the failure modes in models which cannot be verified to satisfy these specifications. Thus, emphasizing the importance of training models not just to fit training data but also to be consistent with specifications.

연구 동기 및 목표

• 신경망 검증을 선형 사양을 초월해 더 풍부한 비선형 성질로 확장하기 위해.
• 볼록 근사 기반 검증에 적합한 비선형 사양의 클래스를 식별하고 체계화하기 위해.
• 실제 응용에서 복잡한 성질을 검증하는 실용적 유용성을 입증하기 위해.
• 표준 훈련 방식에서 생기는 한계를 드러내기 위해 비선형 사양을 위반하는 모델의 결함 모드를 폭 드러내기 위해.

제안 방법

• 볼록 근사가 가능한 사양의 클래스를 제안하며, 이는 비선형이지만 검증을 위해 볼록 근사 기법을 적용할 수 있다.
• 비선형 사양을 다룰 수 있는 풀이 가능한 최적화 문제로 변환하기 위해 볼록 근사를 사용한다.
• 에너지 보존성과 분류기의 의미 일관성과 같은 성질을 검증하기 위해 이 프레임워크를 적용한다.
• 최적화 기반 검증을 통해 신경망이 이러한 비선형 제약 조건을 충족하는지 확인한다.
• 비선형 사양을 기존 검증 프레임워크에 통합하는 검증 파이프라인을 설계한다.
• 손글씨 숫자 합 계산 및 물리적 동역학 예측과 같은 작업을 위해 훈련된 모델에 대해 이 방법을 검증한다.

실험 결과

연구 질문

• RQ1 에너지 보존과 같은 비선형 사양이 볼록 근사 기법을 사용해 신경망에서 효과적으로 검증될 수 있는가?
• RQ2 비선형 성질인 의미 일관성과 같은 사양에 대해 명시적인 제약 조건 없이 훈련된 모델은 어떻게 평가되는가?
• RQ3 표준 검증 방법이 비선형 사양을 위반하는 모델에서 문제를 탐지하지 못하는 정도는 어느 정도인가?
• RQ4 볼록 근사 가능 사양을 사용해 선형 검증에서 놓치는 결함 모드를 탐지하고 폭 드러낼 수 있는가?

주요 결과

• 제안된 방법은 학습된 동역학 모델에서 에너지 보존성과 같은 복잡한 비선형 성질을 성공적으로 검증한다.
• 비선형 사양을 충족하지 못하는 모델이 드러나며, 이는 선형 검증 기법으로는 탐지할 수 없는 모순을 드러낸다.
• 공격적 변형에 대한 분류기 출력의 의미 일관성은 제안된 프레임워크를 통해 효과적으로 검증된다.
• 손글씨 숫자 합 예측 모델에서의 오류를 탐지함으로써, 이 방법이 회귀 유사 작업에 유용함을 입증한다.
• 표준 훈련 방식이 중요한 비선형 성질을 충족하는 데 보장하지 못함을 검증 과정을 통해 입증하며, 사양 인식 훈련의 필요성을 강조한다.
• 이 방법은 이전에는 눈에 띄지 않았을 수 있는 결함 모드를 탐지할 수 있게 하며, 사양 기반 모델 개발의 중요성을 부각시킨다.