[논문 리뷰] NeuroDiff: Scalable Differential Verification of Neural Networks using Fine-Grained Approximation

Brandon Paulsen, Jingbo Wang외 2명|arXiv (Cornell University)|2020. 09. 21.

Adversarial Robustness in Machine Learning참고 문헌 56인용 수 4

한 줄 요약

NeuroDiff는 미세한 볼록 근사 및 기호 변수를 사용하여 피드포워드 ReLU 신경망에 대한 확장 가능한 미분 검증 기법을 제안한다. 이는 정확도와 속도를 크게 향상시킨다. 압축되거나 수정된 네트워크의 동치성 검증 작업에서 기존 최고 수준의 기술 대비 최대 1000배 빠르고 5배 더 높은 정확도를 달성한다.

ABSTRACT

As neural networks make their way into safety-critical systems, where misbehavior can lead to catastrophes, there is a growing interest in certifying the equivalence of two structurally similar neural networks. For example, compression techniques are often used in practice for deploying trained neural networks on computationally- and energy-constrained devices, which raises the question of how faithfully the compressed network mimics the original network. Unfortunately, existing methods either focus on verifying a single network or rely on loose approximations to prove the equivalence of two networks. Due to overly conservative approximation, differential verification lacks scalability in terms of both accuracy and computational cost. To overcome these problems, we propose NeuroDiff, a symbolic and fine-grained approximation technique that drastically increases the accuracy of differential verification while achieving many orders-of-magnitude speedup. NeuroDiff has two key contributions. The first one is new convex approximations that more accurately bound the difference neurons of two networks under all possible inputs. The second one is judicious use of symbolic variables to represent neurons whose difference bounds have accumulated significant error. We also find that these two techniques are complementary, i.e., when combined, the benefit is greater than the sum of their individual benefits. We have evaluated NeuroDiff on a variety of differential verification tasks. Our results show that NeuroDiff is up to 1000X faster and 5X more accurate than the state-of-the-art tool.

연구 동기 및 목표

• 안전 중심 응용 분야에서 구조적으로 유사한 두 신경망 간의 기능 동치성 검증을 위한 확장 가능하고 정확한 방법의 부족을 해결하기 위해.
• 기존의 미분 검증 도구들이 지나치게 보수적인 근사를 기반으로 하여 확장성과 정확도가 떨어지는 문제를 해결하기 위해.
• 압축되거나 프루닝된 신경망과 원본 버전 간의 행동 유사성에 대한 공식적 보장을 가능하게 하는 기법을 개발하기 위해.
• 전방 분석 중 네트워크 차이의 근사 오차 누적 문제를 줄이면서도 계산 효율성을 유지하기 위해.
• 기호 추상화와 미세한 볼록 경계를 조합하여 검증 정밀도와 성능 향상에 상호 보완적인 효과를 얻기 위해.

제안 방법

• 기존 연구에서 사용하는 거친 간격 근사화 대신, 모든 입력에 대해 두 ReLU 네트워크의 출력 차이를 날카롭게 봉인하는 새로운 볼록 근사를 도입한다.
• 차이 경계에 상당한 오차가 누적된 은닉층의 뉴런을 기호 변수로 표현하여 불확실성의 더 정밀한 전파를 가능하게 한다.
• 기호 간격 산술을 사용한 전방 분석 파이프라인에서 기호 추상화와 볼록 근사를 결합하여 차이 경계를 계산한다.
• 고도로 불확실한 영역을 분리하기 위한 분할 전략을 사용하며, 필요로 하는 곳에만 더 정교한 분석을 적용함으로써 효율성을 향상시킨다.
• 네트워크 간의 구조적 유사성(예: 가중치 프루닝 또는 양자화)을 활용하여 공통 계산을 최적화하고 중복 분석을 줄인다.
• 시간 초과 기반의 검증 프레임워크를 활용하여, 차이가 사용자 정의한 허용 오차 ε 이하로 증명 가능하면 '검증됨', 그렇지 않으면 '결정 불가'를 반환한다.

실험 결과

연구 질문

• RQ1 미세한 볼록 근사가 ReLU 네트워크의 미분 검증에서 과도한 근사 오차를 크게 줄일 수 있는가?
• RQ2 기호 변수는 전방 전파 중 차이 경계의 오차 누적 문제를 어느 정도 완화할 수 있는가?
• RQ3 볼록 근사와 기호 추상화가 별개로 사용될 때보다 함께 사용했을 때 검증 정확도와 확장성에 어떤 공동 개선 효과를 낼 수 있는가?
• RQ4 제안된 방법은 실제 신경망 압축 작업에서 정확도를 유지하거나 향상시키면서도 수개의 주기적 빠른 성능 향상을 달성할 수 있는가?
• RQ5 입력 편향과 네트워크 너비는 제안된 근사 기법의 효과성에 어떤 영향을 미치는가?

주요 결과

• NeuroDiff는 기존 최고 수준의 도구인 ReluDiff 대비 미분 검증 작업에서 최대 1000배 빠른 성능을 달성한다.
• 검증 정확도가 최대 5배 향상되어 동치성 검증에서 거짓 음성(false negatives)을 크게 줄였다.
• 볼록 근사는 Pre-ReLU 델타 간격이 넓지만 여전히 기호 정보를 포함할 경우에 가장 효과적이며, 이는 더 높은 편향 설정과 일치한다.
• 볼록 근사와 기호 변수의 조합은 상호 보완적 이점을 낳으며, 개별 기법의 성능 향상 합보다 더 큰 성능 향상을 이룬다.
• MNIST 실험 결과, 편향이 증가함에 따라 델타 간격이 넓어졌으며, 이는 볼록 근사가 이러한 조건에서 가장 유용함을 확인한다.
• 사용자 정의한 ε 허용 오차 기준으로 원본 네트워크와 압축된 네트워크(예: 프루닝되거나 양자화된) 간의 기능 동치성을 공식적으로 보장하며 검증에 성공했다.