[논문 리뷰] Statistical Verification of Neural Networks

Stefan Webb, Tom Rainforth외 2명|arXiv (Cornell University)|2018. 11. 17.

Adversarial Robustness in Machine Learning참고 문헌 8인용 수 1

한 줄 요약

이 논문은 입력 분포 하에서 성질 위반의 확률을 다중 수준 분할을 사용하여 추정하는 통계적 검증 프레임워크를 소개한다. 이는 위반이 발견되었을 때 형식적 보장을 제공하며, 위반이 없더라도 신뢰할 수 있는 확률 추정치를 제공함으로써 기존 형식적 검증보다 확장성은 뛰어나면서도 정확도를 유지하는 확장 가능한 강건성 분석을 가능하게 한다.

ABSTRACT

We present a new approach to assessing the robustness of neural networks based on estimating the proportion of inputs for which a property is violated. Specifically, we estimate the probability of the event that the property is violated under an input model. Our approach critically varies from the formal verification framework in that when the property can be violated, it provides an informative notion of how robust the network is, rather than just the conventional assertion that the network is not verifiable. Furthermore, it provides an ability to scale to larger networks than formal verification approaches. Though the framework still provides a formal guarantee of satisfiability whenever it successfully finds one or more violations, these advantages do come at the cost of only providing a statistical estimate of unsatisfiability whenever no violation is found. Key to the practical success of our approach is an adaptation of multi-level splitting, a Monte Carlo approach for estimating the probability of rare events, to our statistical robustness framework. We demonstrate that our approach is able to emulate formal verification procedures on benchmark problems, while scaling to larger networks and providing reliable additional information in the form of accurate estimates of the violation probability.

연구 동기 및 목표

• 신경망 강건성 평가에서 형식적 검증의 확장성 한계를 해결하기 위해.
• 주어진 입력 분포 하에서 신경망 성질 위반이 발생할 가능성을 통계적으로 근거 있는 추정치로 제공하기 위해.
• 기존 형식적 검증 방법이 허용하는 것보다 더 큰 신경망의 분석을 가능하게 하기 위해.
• 위반이 존재할 경우 단순히 '검증 불가'라는 이진 결과가 아니라 정보적인 강건성 메트릭을 제공하기 위해.
• 위반이 발견되었을 때 정확성의 형식적 보장을 유지하면서도, 위반이 없을 경우는 확률적 추정치를 제공하기 위해.

제안 방법

• 지정된 입력 모델 하에서 몬테카를로 샘플링을 사용하여 성질 위반의 확률을 추정한다.
• 희귀 사건의 확률 추정 기법인 다중 수준 분할을 활용하여 낮은 확률의 위반 사건을 효율적으로 계산한다.
• 추정된 위반 확률의 불확실성을 정량화하기 위해 통계적 신뢰구간을 통합한다.
• 적어도 하나의 위반이 발견된 경우, 정확성에 대한 형식적 보장을 제공한다.
• 기존 형식적 방법에서 흔히 발생하는 조합 폭발을 피함으로써 더 큰 네트워크로의 확장성을 설계한다.
• 기존 형식적 검증이 어려운 네트워크까지 확장하면서도 기준 문제에 대해 형식적 검증을 모방한다.

실험 결과

연구 질문

• RQ1 통계적 접근이 형식적 검증의 한계를 초월하여 신뢰할 수 있고 확장 가능한 신경망 강건성 추정을 제공할 수 있는가?
• RQ2 다중 수준 분할이 신경망에서 성질 위반의 확률을 얼마나 정확하게 추정할 수 있는가?
• RQ3 통계적 프레임워크는 위반이 발견되었을 때 비록 확률적 성격을 지니더라도 여전히 형식적 보장을 유지하는가?
• RQ4 기존 형식적 검증에 비해 이 방법은 얼마나 더 큰 신경망에 대해 확장 가능한가?
• RQ5 위반이 발견되지 않았을 경우에도 예를 들어 위반 확률의 추정치를 제공함으로써 의미 있는 강건성 메트릭을 제공할 수 있는가?

주요 결과

• 제안된 방법은 기준 문제에서 형식적 검증을 성공적으로 모방하여 위반 탐지 능력이 유사한 수준에 도달한다.
• 기존 형식적 검증 기법으로는 검증이 불가능한 더 큰 신경망으로의 확장에 성공한다.
• 위반이 발견되었을 경우, 정확성에 대한 형식적 보장을 제공하여 검증의 엄밀함을 유지한다.
• 위반이 탐지되지 않았을 경우에도 위반 확률의 통계적으로 타당한 추정치를 제공하여 실용적인 강건성 통찰을 제공한다.
• 다중 수준 분할의 사용은 강건성 평가에 핵심적인 희귀 사건의 확률을 정확하게 추정할 수 있게 한다.
• 신뢰구간을 포함한 신뢰할 수 있고 정보적인 강건성 메트릭을 제공하여 모델 평가의 실용적 유용성을 향상시킨다.