[논문 리뷰] Efficient Neural Network Verification via Order Leading Exploration of Branch-and-Bound Trees

Jingyue Lu, Manish Kumar외 5명|arXiv (Cornell University)|2019. 12. 03.

Adversarial Robustness in Machine Learning참고 문헌 17인용 수 9

한 줄 요약

이 논문은 브랜치 앤 바운드(BaB) 프레임워크를 사용한 신경망 검증을 위한 그래프 신경망(GNN) 기반의 분기 전략을 제안한다. 신경망을 그래프로 모델링하고, 새로운 정방향-역방향 임베딩 업데이트 스케줄을 사용함으로써 GNN은 높은 계산 비용 없이 강력한 분기(Strong branching)를 모방할 수 있으며, 최신 수작업 설계 전략에 비해 분기 수와 검증 시간 모두 50% 이상 감소시킨다. 이는 문제의 난이도 및 네트워크 크기 간에 강력한 수평적·수직적 일반화 성능을 보여준다.

ABSTRACT

Formal verification of neural networks is essential for their deployment in safety-critical areas. Many available formal verification methods have been shown to be instances of a unified Branch and Bound (BaB) formulation. We propose a novel framework for designing an effective branching strategy for BaB. Specifically, we learn a graph neural network (GNN) to imitate the strong branching heuristic behaviour. Our framework differs from previous methods for learning to branch in two main aspects. Firstly, our framework directly treats the neural network we want to verify as a graph input for the GNN. Secondly, we develop an intuitive forward and backward embedding update schedule. Empirically, our framework achieves roughly $50\%$ reduction in both the number of branches and the time required for verification on various convolutional networks when compared to the best available hand-designed branching strategy. In addition, we show that our GNN model enjoys both horizontal and vertical transferability. Horizontally, the model trained on easy properties performs well on properties of increased difficulty levels. Vertically, the model trained on small neural networks achieves similar performance on large neural networks.

연구 동기 및 목표

• 브랜치 앤 바운드(BaB) 알고리즘에서 효과적인 분기 전략의 높은 계산 비용이라는 신경망 검증의 핵심적 성능 저하 요인을 해결하기 위해.
• 수작업 히ュ리스틱과 무작위 선택보다 뛰어난 성능을 보이며 계산 비용이 낮은 고품질의 분기 전략을 개발하기 위해.
• 다양한 신경망 아키텍처와 검증 문제 난이도 수준 간에 학습된 분기 전략의 일반화 성능을 보장하기 위해.
• BaB 프로세스 동안 특정 검증 성질에 맞게 GNN 전략을 온라인으로 미세조정할 수 있도록 통합하기 위해.

제안 방법

• 신경망을 계산 그래프로 모델링하고, 강력한 분기 행동을 모방함으로써 GNN을 사용해 분기 전략을 학습한다.
• 공유된 파라미터를 사용해 효율적으로 정보를 전파할 수 있도록 새로운 정방향 및 역방향 임베딩 업데이트 스케줄을 도입하여 빠른 추론을 가능하게 한다.
• 학습 데이터는 일부 단계에서 저비용 히ュ리스틱과 강력한 분기를 조합하여 생성된 합성 데이터를 사용해 지도학습 방식으로 GNN을 훈련시킨다.
• 이 프레임워크는 문제 난이도 수준 간 일반화(수평적 일반화)와 소형에서 대형 네트워크로의 일반화(수직적 일반화)를 모두 지원한다.
• BaB 프로세스 동안 GNN을 온라인으로 미세조정하는 학습 체계를 통합하여 특정 검증 과제에 맞게 전략을 적응시킨다.
• 모든 경계 방법과 호환되므로 기존 BaB 기반 검증 프레임워크에 널리 적용 가능하다.

실험 결과

연구 질문

• RQ1 GNN은 신경망 검증을 위한 고품질의 분기 전략을 효과적으로 학습시킬 수 있는가? 특히 강력한 분기 성능에 도달하거나 초월할 수 있는가?
• RQ2 제안된 GNN 기반 분기 전략은 수작업 히ュ리스틱과 무작위 선택 대비 검증 시간과 분기 수 측면에서 어떻게 성능을 내는가?
• RQ3 학습된 GNN 전략은 다양한 난이도 수준의 검증 문제에 대해 얼마나 잘 일반화되는가(수평적 일반화)?
• RQ4 소형 네트워크에서 학습된 GNN 전략은 대형 네트워크에 효과적으로 적용될 수 있는가(수직적 일반화)?
• RQ5 BaB 프로세스 동안 GNN을 온라인으로 미세조정하면 검증 성능이 추가로 향상되는가?

주요 결과

• 제안된 GNN 기반 분기 전략은 다양한 합성곱 네트워크에서 최고의 수작업 설계 전략 대비 평균 분기 수와 검증 시간을 각각 50% 이상 감소시켰다.
• GNN 모델은 쉬운, 중간, 어려운 검증 성질 모두에서 일관된 성능 향상을 보이며, 강력한 수평적 일반화 성능을 입증했다.
• 소형 네트워크에서 학습된 모델이 대형 네트워크로 효과적으로 일반화되어, 대규모 문제 적용에 유용한 뚜렷한 수직적 일반화 성능을 보였다.
• 온라인 미세조정을 통한 GNN 성능 향상은 추가로 성능 향상을 이끌었으며, GNN-Online은 표준 GNN 대비 61.52%의 성질에 더 적은 분기 수로, 60.20%의 성질에 더 짧은 시간 내에 해결했다.
• 이 프레임워크는 강건하고 일반화 능력이 뛰어나, 모든 테스트된 모델과 문제 세트에서 BaBSR 및 상용 MIP 솔버(MIPPlanet)를 모두 능가했다.