[논문 리뷰] The Second International Verification of Neural Networks Competition (VNN-COMP 2021): Summary and Results

Stanley Bak, Changliu Liu외 1명|arXiv (Cornell University)|2021. 08. 31.

Adversarial Robustness in Machine Learning참고 문헌 51인용 수 43

한 줄 요약

VNN-COMP 2021에 대한 규칙, 참여 도구, 벤치마크, 결과 및 공정하고 표준화된 신경망 검증 대회에서 얻은 교훈을 포괄적으로 자세히 설명한 보고서.

ABSTRACT

This report summarizes the second International Verification of Neural Networks Competition (VNN-COMP 2021), held as a part of the 4th Workshop on Formal Methods for ML-Enabled Autonomous Systems that was collocated with the 33rd International Conference on Computer-Aided Verification (CAV). Twelve teams participated in this competition. The goal of the competition is to provide an objective comparison of the state-of-the-art methods in neural network verification, in terms of scalability and speed. Along this line, we used standard formats (ONNX for neural networks and VNNLIB for specifications), standard hardware (all tools are run by the organizers on AWS), and tool parameters provided by the tool authors. This report summarizes the rules, benchmarks, participating tools, results, and lessons learned from this competition.

연구 동기 및 목표

• 신경망 검증 도구를 비교하기 위한 공정하고 표준화된 플랫폼을 확립한다.
• ONNX/VNNLIB 형식과 AWS 하드웨어를 사용하여 최첨단 검증 방법의 확장성 및 속도를 평가한다.
• 다양한 구조 및 응용 분야에 걸친 벤치마크를 제공하여 NN 검증의 발전을 촉진한다.
• 향후 VNN-COMP를 안내하기 위한 교훈을 요약한다.

제안 방법

• 모든 도구에 대해 표준화된 입력(ONNX 네트워크, VNNLIB 명세) 및 하드웨어(AWS CPU/GPU)를 사용한다.
• 정의된 인스턴스별 및 벤치마크별 실행 시간 상한 및 시작 시간 보정을 위한 오버헤드 보정 절차를 도입한다.
• 인스턴스별 정합성, 정합성 유형, 시간 기반 보너스로 구성된 채점 체계를 구현한다.
• 12개 참여 팀/도구와 고정 벤치마크 세트에 걸친 결과를 수집하고 분석한다.
• GitHub를 통해 재현 가능한 파이프라인과 공개 가능한 벤치마크/스크립트를 제공한다.

실험 결과

연구 질문

• RQ1 표준화된 조건에서 현재의 NN 검증 도구는 확장성 및 속도 측면에서 어떻게 비교되는가?
• RQ2 다양한 벤치마크 세트 전반에서 각 도구의 강점과 한계는 무엇인가?
• RQ3 향후 VNN-COMP 반복 및 NN 검증 연구를 개선하기 위해 어떤 교훈을 얻을 수 있는가?
• RQ4 표준 형식과 제어된 하드웨어가 검증 방법의 공정한 비교에 어떤 영향을 미치는가?

주요 결과

• 열두 개의 도구가 참여했고 공통 AWS 기반 플랫폼에서 평가되었다.
• 벤치마크는 ACASXu, CIFAR-10 변형, MNIST 등 다양한 네트워크 및 작업을 포함하였다(벤치마크 목록 참조).
• 대회는 미리 정의된 규칙, 타임아웃, 도구 시작 시간 보정을 통한 공정하고 재현 가능한 파이프라인을 확립하였다.
• 결과 및 벤치마크가 공개적으로 보고되어 객관적 비교와 향후 재실행이 가능했다.
• 보고서는 향후 VNN-COMP 반복에서의 교훈과 개선 가능성을 문서화한다.