[논문 리뷰] SOCRATES: Towards a Unified Platform for Neural Network Verification.

Long Hoang Pham, Jiaying Li외 1명|arXiv (Cornell University)|2020. 07. 22.

Adversarial Robustness in Machine Learning참고 문헌 29인용 수 8

한 줄 요약

SOCRATES는 신경망 검증을 위한 통합 플랫폼으로, 모델 형식을 표준화하고, 진술 언어를 통해 성질을 명시하며, 새로운 검증 알고리즘을 통합한다. 이는 다양한 신경망 유형과 성질에 대해 비교 가능하고 확장성 있고 재사용 가능한 검증을 가능하게 하며, 성능 면에서나 최첨단 기법과 동등하거나 이를 뛰어넘는다.

ABSTRACT

Studies show that neural networks, not unlike traditional programs, are subject to bugs, e.g., adversarial samples that cause classification errors and discriminatory instances that demonstrate the lack of fairness. Given that neural networks are increasingly applied in critical applications (e.g., self-driving cars, face recognition systems and personal credit rating systems), it is desirable that systematic methods are developed to verify or falsify neural networks against desirable properties. Recently, a number of approaches have been developed to verify neural networks. These efforts are however scattered (i.e., each approach tackles some restricted classes of neural networks against certain particular properties), incomparable (i.e., each approach has its own assumptions and input format) and thus hard to apply, reuse or extend. In this project, we aim to build a unified framework for developing verification techniques for neural networks. Towards this goal, we develop a platform called SOCRATES which supports a standardized format for a variety of neural network models, an assertion language for property specification as well as two novel algorithms for verifying or falsifying neural network models. SOCRATES is extensible and thus existing approaches can be easily integrated. Experiment results show that our platform offers better or comparable performance to state-of-the-art approaches. More importantly, it provides a platform for synergistic research on neural network verification.

연구 동기 및 목표

• 다양한 접근 방식이 분산되어 있는 신경망 검증 문제를 하나의 표준화된 프레임워크로 통합하여 해결하기 위해.
• 강건성 및 공정성과 같은 바람직한 성질에 대해 신경망의 체계적 검증 및 반증을 가능하게 하기 위해.
• 기존의 검증 기법들이 쉽게 통합되고 재사용될 수 있도록 확장성을 지원하기 위해.
• 연구자 간 협업과 비교를 촉진할 수 있는 공통 플랫폼을 제공하기 위해.

제안 방법

• SOCRATES는 다양한 신경망 아키텍처 간의 상호 운용성을 보장하기 위해 다양한 신경망 모델을 표현할 수 있는 표준화된 입력 형식을 도입한다.
• 강건성 대비 악성 입력이나 공정성 제약 조건과 같은 형식적 성질을 명시하기 위해 진술 언어를 정의한다.
• 지정된 성질에 대해 신경망 동작을 효율적으로 검증하거나 반증하기 위해 설계된 두 가지 새로운 검증 알고리즘을 통합한다.
• 모듈러 아키텍처를 통해 기존의 검증 기법을 플러그인 방식으로 통합할 수 있도록 하는 확장성 구조를 제공한다.
• 일致한 입력 형식과 성질 명세를 사용함으로써 다양한 검증 방법 간의 비교를 가능하게 한다.
• 성능과 재사용성 측면에서 설계되어 연구 및 실용적 구현 모두를 지원한다.

실험 결과

연구 질문

• RQ1 다양한 신경망 모델과 검증 성질을 지원할 수 있는 통합 플랫폼을 어떻게 설계할 수 있는가?
• RQ2 다양한 검증 도구 간의 상호 운용성을 보장하기 위해 필요한 표준화된 입력 및 명세 형식은 무엇인가?
• RQ3 새로운 검증 알고리즘을 효율적으로 하나의 확장 가능한 프레임워크에 통합할 수 있는 방법은 무엇인가?
• RQ4 이러한 통합 플랫폼이 전문화된 최첨단 검증 도구의 성능을 얼마나 잘 따라하거나 뛰어넘을 수 있는가?
• RQ5 공동 플랫폼이 신경망 검증 분야에서 협업적이고 상호보완적인 연구를 촉진할 수 있는가?

주요 결과

• SOCRATES는 하나의 표준화된 프레임워크 안에서 여러 신경망 검증 접근 방식을 성공적으로 통합하였다.
• 공통 입력 형식과 진술 언어를 통해 다양한 신경망 모델과 성질 명세를 지원한다.
• 최첨단 기법과 동등하거나 이를 뛰어넘는 성능을 보이는 새로운 검증 알고리즘을 통합하였다.
• SOCRATES의 확장성 덕분에 기존의 검증 기법들이 쉽게 통합되고 재사용될 수 있다.
• 실험 결과는 SOCRATES가 다양한 모델과 성질 간에 효과적이고 비교 가능하며 확장 가능한 검증을 가능하게 함을 확인한다.
• 공통 기반을 제공함으로써 검증 기법의 평가 및 확장에 있어 협업 연구를 촉진한다.