[논문 리뷰] A Statistical Approach to Assessing Neural Network Robustness

Stefan Webb, Tom Rainforth외 2명|arXiv (Cornell University)|2018. 11. 17.

Adversarial Robustness in Machine Learning참고 문헌 19인용 수 18

한 줄 요약

이 논문은 입력 분포 하에서 성질 위반의 확률을 추정하여 신경망의 강건성을 평가하는 통계적 프레임워크를 제안한다. 적응형 다수준 분할(AMLS)을 사용해 희귀 사건의 확률을 효율적으로 추정함으로써, 강건성에 대한 확장 가능하고 정보적인 메트릭을 제공한다. 위반이 발견되지 않았을 경우 공식적인 통계적 보장을 제공하며, 기존의 형식적 검증에 비해 확장성과 실용적 통찰력에서 뛰어나다.

ABSTRACT

We present a new approach to assessing the robustness of neural networks based on estimating the proportion of inputs for which a property is violated. Specifically, we estimate the probability of the event that the property is violated under an input model. Our approach critically varies from the formal verification framework in that when the property can be violated, it provides an informative notion of how robust the network is, rather than just the conventional assertion that the network is not verifiable. Furthermore, it provides an ability to scale to larger networks than formal verification approaches. Though the framework still provides a formal guarantee of satisfiability whenever it successfully finds one or more violations, these advantages do come at the cost of only providing a statistical estimate of unsatisfiability whenever no violation is found. Key to the practical success of our approach is an adaptation of multi-level splitting, a Monte Carlo approach for estimating the probability of rare events, to our statistical robustness framework. We demonstrate that our approach is able to emulate formal verification procedures on benchmark problems, while scaling to larger networks and providing reliable additional information in the form of accurate estimates of the violation probability.

연구 동기 및 목표

• 이중 형식적 검증의 한계를 해결하기 위해, 위반이 존재할 경우 강건성을 수량화하지 못하고 대규모 네트워크에서는 확장성에 어려움을 겪는 문제를 해결한다.
• 주어진 입력 분포 하에서 성질 위반의 확률을 추정하는 실용적이고 확장 가능한 강건성 메트릭을 제공한다.
• 형식적 검증이 불가능한 대규모 신경망에서 매우 낮은 위반 확률을 신뢰성 있게 추정할 수 있도록 한다.
• 완벽하게 강건하지 않은 네트워크일 경우에도 의미 있는 강건성 통찰을 제공하는 통계적 대안을 제공한다.
• 기본 벤치마크 문제에서 형식적 검증을 모방할 수 있으며, 더 큰 아키텍처로도 확장 가능함을 보여준다.

제안 방법

• 이 방법은 신경망 검증 문제를 특정 입력 분포 하에서 성질 위반이 일어날 확률을 추정하는 문제로 재정의한다.
• 희귀 사건 확률 추정을 위한 몬테카를로 기법인 적응형 다수준 분할(AMLS)을 사용하여 희귀 위반의 효율적 샘플링과 추정을 수행한다.
• AMLS 알고리즘은 위반 심각도의 중간 수준을 거쳐 입력 집단을 적응적으로 진화시킴으로써 희귀 사건에 대한 샘플링 효율을 향상시킨다.
• 이 방법은 아키텍처에 종속되지 않으며, 조각별 선형성이나 리프시츠 연속성과 같은 가정이 필요하지 않다.
• 부산물로 다양한 대비 예제를 생성함으로써 해석 가능성과 진단적 가치를 향상시킨다.
• 위반이 발견되지 않았을 경우, 사용자가 정의한 허용 오차 이내에서 불만족 가능성의 통계적 보장을 제공한다.

실험 결과

연구 질문

• RQ1 통계적 접근법이 신경망의 강건성에 대해 형식적 검증의 이중 결과보다 더 정보적인 메트릭을 제공할 수 있는가?
• RQ2 희귀 사건 확률 추정을 어떻게 효과적으로 적용하여 신경망의 강건성을 수량화할 수 있는가?
• RQ3 이 방법이 형식적 검증이 불가능한 대규모 신경망에 얼마나 잘 확장될 수 있는가?
• RQ4 이 방법은 매우 낮은 위반 확률을 높은 신뢰도로 신뢰성 있게 추정할 수 있는가?
• RQ5 정확성과 실용적 유용성 측면에서 이 통계적 강건성 추정치는 형식적 검증의 경계와 어떻게 비교되는가?

주요 결과

• 이 방법은 만족 가능한 벤치마크 문제에서 형식적 검증을 성공적으로 모방하여, 위반 탐지 및 비위반 탐지 모두에서 높은 신뢰도를 달성한다.
• 불만족 가능한 성질에 대해서는, 위반 확률에 대한 통계적 보장 상한선을 제공하며, 샘플링 증가에 따라 신뢰구간이 좁아진다.
• 이 방법은 포워드 패스의 비용에 비례하여 선형적으로 확장 가능하므로, 형식적 검증이 처리할 수 없는 더 큰 네트워크에 적용할 수 있다.
• 이 방법은 부산물로 다양한 대비 예제를 생성하여, 단순한 존재 여부 확인을 넘어서 추가적인 진단적 통찰을 제공한다.
• Wong & Kolter (2018)와 비교해, GPU 메모리 폭발 없이도 임계값 이하의 위반 빈도를 갖는 입력 비율에 대해 물리적으로 의미 있는 경계를 제공한다.
• 희귀 사건에 대해 기본 몬테카를로 샘플링에 비해 효율성이 뛰어나, AMLS의 적응 전략이 신경망 강건성에 효과적임을 입증한다.