[논문 리뷰] Toward Scalable Verification for Safety-Critical Deep Networks

Lindsey Kuper, Guy Katz외 4명|arXiv (Cornell University)|2018. 01. 18.

Adversarial Robustness in Machine Learning참고 문헌 14인용 수 20

한 줄 요약

이 논문은 안전성에 중대한 영향을 미치는 딥 네트워크(DNN)의 확장 가능한 검증을 위한 이중 접근법을 제안한다: 더 큰 네트워크를 검증할 수 있도록 지연된 ReLU 분할 기법을 사용하는 전문화된 SMT 솔버(예: Reluplex) 개발과, 더 작은 깊은 구조와 조각별 선형 활성화 함수를 포함한 검증 友화 아키텍처를 설계하여 형식적 검증에 더 적합한 DNN 설계. 핵심 기여는 항공기 충돌 방지에 사용되는 100개 이상의 뉴런을 가진 DNN의 검증을 성공적으로 수행한 것이다.

ABSTRACT

The increasing use of deep neural networks for safety-critical applications, such as autonomous driving and flight control, raises concerns about their safety and reliability. Formal verification can address these concerns by guaranteeing that a deep learning system operates as intended, but the state of the art is limited to small systems. In this work-in-progress report we give an overview of our work on mitigating this difficulty, by pursuing two complementary directions: devising scalable verification techniques, and identifying design choices that result in deep learning systems that are more amenable to verification.

연구 동기 및 목표

• 자율 주행차와 항공기에서 사용되는 대규모 안전성에 중대한 영향을 미치는 딥 네트워크(DNN)의 검증 문제를 해결한다.
• 이전에 10개 이하의 뉴런을 가진 오래된 테스트용 네트워크에만 작동했던 기존 SMT 기반 검증 도구의 확장성 한계를 극복한다.
• 성능을 희생시키지 않은 채 형식적 검증과의 호환성을 높이는 DNN 설계 원칙을 개발한다.
• 고급 솔버 기술과 아키텍처 선택을 조합하여 실제 세계의 DNN에 대한 실용적인 형식적 검증을 가능하게 한다.

제안 방법

• 지연된 ReLU 분할 기법을 사용하여 지연된 ReLU 제약 조건을 처리할 수 있도록 선형 산술에 고수준의 ReLU 술어를 추가한 전문화된 SMT 솔버인 Reluplex를 도입한다. 이는 상태 공간의 지수적 증가를 방지한다.
• SAT 솔버와 도메인 전용 선형 프로그래밍(LP) 솔버를 조합한 하이브리드 아키텍처를 사용하여, 솔루션 공간을 효율적으로 탐색한다.
• 모든 가능한 활성화 상태를 명시적으로 열거하지 않기 때문에 검증 중에 탐색 공간을 크게 줄이는 지연된 ReLU 분할 기법을 적용한다.
• 깊고 좁은 구조(많은 수의 작은 레이어)를 사용하는 DNN 설계를 하며, 이는 조합 복잡도가 감소하여 검증이 더 쉬워지기 때문이다.
• SMT 인코딩에 더 적합한 조각별 선형 활성화 함수(예: ReLU, max-pooling)를 우선시하며, 시그모이드와 같은 부드럽고 비선형적인 함수보다 검증에 유리하다.
• 저해상도 산술과 네트워크 프루닝을 추가적인 설계 선택지로 탐색하여 모델 크기를 줄이고 검증 가능성을 향상시킨다.

실험 결과

연구 질문

• RQ1 SMT 기반 검증은 현재 약 10개 뉴런의 한계를 넘어서 수천 개의 뉴런을 가진 DNN에까지 확장 가능한가?
• RQ2 형식적 검증 과정에서 ReLU 활성화 함수로 인해 발생하는 계산 복잡도는 어떻게 완화할 수 있는가?
• RQ3 DNN 설계에서 어떤 아키텍처 선택이 검증에 더 유리한가?
• RQ4 활성화 함수 유형, 네트워크 깊이, 너비, 정밀도가 검증 도구의 확장성에 얼마나 영향을 미치는가?
• RQ5 하드웨어 인식 설계 선택(예: 저해상도 산술, 프루닝)은 추론 효율성과 형식적 검증 가능성 둘 다 향상시킬 수 있는가?

주요 결과

• Reluplex는 항공기 충돌 방지 시스템인 ACAS Xu에서 사용되는 100개 이상의 뉴런을 가진 DNN를 성공적으로 검증하여, 이전 방법에 비해 확장성에서 약 10배 향상된 결과를 보였다.
• Reluplex의 지연된 ReLU 분할 기법은 ReLU 활성화 조합의 전체 지수적 상태 공간을 탐색하지 않아도 되므로 더 큰 네트워크의 검증을 가능하게 한다.
• 많은 얕은 레이어와 각 레이어에 적은 수의 뉴런을 가진 네트워크는 적은 수의 레이어를 가진 깊고 넓은 아키텍처보다 검증이 훨씬 쉬운 것으로 밝혀졌다.
• ReLU와 max-pooling과 같은 조각별 선형 활성화 함수를 사용하는 DNN는 시그모이드와 같은 부드럽고 비선형적인 함수를 사용하는 네트워크보다 SMT 기반 검증에 훨씬 더 적합하다.
• 저해상도 및 프루닝 처리된 DNN는 배포 효율성 뿐 아니라 크기와 복잡도가 감소하여 형식적 검증 가능성도 향상된다.
• 검증 확장성 향상에 기여하는 설계 선택(예: 네트워크 토폴로지 및 활성화 함수 선택)은 추론 속도, 메모리 사용량, 전력 효율성 향상에도 기여한다.