[논문 리뷰] Towards Practical Verification of Machine Learning: The Case of Computer Vision Systems

Kexin Pei, Zhu, Linjie외 4명|arXiv (Cornell University)|2017. 12. 05.

Adversarial Robustness in Machine Learning참고 문헌 35인용 수 71

한 줄 요약

논문은 VeriVis를 소개하고, 현실 세계의 변환 하에서 컴퓨터 비전 시스템의 안전 속성을 테스트하기 위한 블랙박스 검증 프레임워크로서 수천 건의 위반을 발견하고 부분 검증 및 재학습을 통해 위반을 줄일 수 있게 한다.

ABSTRACT

Due to the increasing usage of machine learning (ML) techniques in security- and safety-critical domains, such as autonomous systems and medical diagnosis, ensuring correct behavior of ML systems, especially for different corner cases, is of growing importance. In this paper, we propose a generic framework for evaluating security and robustness of ML systems using different real-world safety properties. We further design, implement and evaluate VeriVis, a scalable methodology that can verify a diverse set of safety properties for state-of-the-art computer vision systems with only blackbox access. VeriVis leverage different input space reduction techniques for efficient verification of different safety properties. VeriVis is able to find thousands of safety violations in fifteen state-of-the-art computer vision systems including ten Deep Neural Networks (DNNs) such as Inception-v3 and Nvidia's Dave self-driving system with thousands of neurons as well as five commercial third-party vision APIs including Google vision and Clarifai for twelve different safety properties. Furthermore, VeriVis can successfully verify local safety properties, on average, for around 31.7% of the test images. VeriVis finds up to 64.8x more violations than existing gradient-based methods that, unlike VeriVis, cannot ensure non-existence of any violations. Finally, we show that retraining using the safety violations detected by VeriVis can reduce the average number of violations up to 60.2%.

연구 동기 및 목표

• 안전-치명적 도메인(예: 자율 시스템, 의료 진단)에서 ML 시스템의 견고한 검증 필요성을 고취한다.
• 현실적인 공격자 능력을 고려한 입력-출력 안전 속성에 대한 일반적인 프레임워크를 정의한다.
• 최신 비전 시스템의 안전 속성을 블랙박스 분석을 사용하여 검증하기 위해 VeriVis를 개발한다.
• 다양한 DNN, 상용 API, 자율주행 자동차 모델에 대해 평가하여 확장성을 입증한다.

제안 방법

• Transformation T(I;c)와 함께 입력-출력 공간에서 ML 안전 속성의 형식적 프레임워크를 제안한다.
• 의존 픽셀(DP) 및 의존성 함수(DF)로 이미지 변환을 분해하여 공간 축소를 가능하게 한다.
• 고유한 출력이 누락되지 않도록 전환 파라미터 공간을 유한 집합으로 축소하기 위해 임계 파라미터 값을 도입한다.
• 12개의 변환과 15개의 비전 시스템에 걸쳐 속성 검증을 위한 블랙박스 동적 분석 접근법을 적용한다.
• 현실적 변환 하에서 고유 출력의 수가 입력 크기에 다항식으로 비례한다는 것을 보임으로써 확장 가능한 검증을 가능하게 한다.

실험 결과

연구 질문

• RQ1 블랙박스 접근 방식을 사용하여 컴퓨터 비전 시스템에서 어떤 실제 안전 속성을 검증할 수 있는가?
• RQ2 검증 보장을 잃지 않으면서 이미지 변환의 입력 공간을 어떻게 축소할 수 있는가?
• RQ3 다양한 비전 모델과 API에 걸쳐 VeriVis가 안전 속성 위반을 어느 정도까지 탐지할 수 있는가?
• RQ4 VeriVis에 의해 탐지된 위반으로 재학습이 미래 위반을 감소시키고 견고성을 개선할 수 있는가?

주요 결과

• VeriVis는 15개의 비전 시스템에서 수천 건의 안전 속성 위반을 발견하는데, 이에는 6개의 ImageNet 분류기, 5개의 상용 API, 그리고 4개의 자율주행 자동차 모델이 포함된다.
• VeriVis는 기존 그래디언트 기반 방식보다 최대 64.8x 더 많은 위반을 식별한다.
• 평균적으로 VeriVis는 테스트 이미지의 약 31.7%에 대해 검증된 안전 속성을 확인할 수 있다.
• 위반으로 생성된 데이터를 사용한 재학습으로 평균 위반 수를 최대 60.2%까지 감소시킨다.
• 평가에는 12개의 안전 속성 및 15개의 시스템이 포함되어 접근 방식의 광범위한 적용 가능성을 입증한다.