[논문 리뷰] Strengthened SDP Verification of Neural Network Robustness via Non-Convex Cuts.

Ziye Ma, Somayeh Sojoudi|arXiv (Cornell University)|2020. 10. 16.

Adversarial Robustness in Machine Learning참고 문헌 9인용 수 5

한 줄 요약

이 논문은 이산 프로그래밍을 통한 비볼록 컷을 반복적으로 추가함으로써 신경망의 강건성 검증에서의 이론적 이완 갭을 줄이는 순차적 정재성계획법(SDP) 방법을 제안한다. 이 접근법은 컷 수가 증가할수록 검증 정확도를 향상시키고 경계를 강화하여 안전 중심 AI 시스템에 대해 더 강력한 인증 프레임워크를 제공한다.

ABSTRACT

There have been major advances on the design of neural networks, but still they cannot be applied to many safety-critical systems due to the lack of efficient computational techniques to analyze and certify their robustness. Recently, various methods based on convex optimization have been proposed to address this issue. In particular, the semidefinite programming (SDP) approach has gained popularity in convexifying the robustness analysis problem. Since this approach is prone to a large relaxation gap, this paper develops a new technique to reduce the gap by adding non-convex cuts via disjunctive programming. The proposed method amounts to a sequential SDP technique. We analyze the performance of this method both theoretically and empirically, and show that it bridges the gap as the number of cuts increases.

연구 동기 및 목표

• 기존 방법이 큰 이론적 이완 갭으로 인해 실용적 정확도에 한계를 가진 안전 중심 신경망에서의 강건성 검증이라는 핵심 과제를 해결하기 위해.
• 강건성 검증을 위한 정재성계획법(SDP) 접근법에서 내재된 이론적 이완 갭을 줄이기 위해, 이는 그들의 실용적 정확도를 제한한다.
• 이산 프로그래밍을 통해 비볼록 컷을 통합함으로써 SDP 기반 검증을 강화하는 확장 가능하고 효과적인 기법을 개발하기 위해.
• 이론적 이론적 이완 경계와 실제 강건성 사이의 이론적 및 실험적 격차를 반복적인 최적화 경계 정밀 조정을 통해 메우기 위해.

제안 방법

• 이 방법은 이산 프로그래밍에서 유도된 비볼록 컷을 도입하여 신경망 강건성 문제의 SDP 이론적 이론을 강화한다.
• 이론적 이론 갭을 점진적으로 줄이기 위해 컷을 반복적으로 추가하는 순차적 SDP 접근법을 제시한다.
• 각 컷은 활성화 패턴에 대한 분할(disjunction)에서 유도되며, 비볼록 제약 조건을 포착하여 이론의 타이트함을 향상시킨다.
• 알고리즘은 SDP 하위 문제를 해결하고 위반된 이산 제약 조건을 식별하여 새로운 컷을 생성하는 것을 번갈아 수행한다.
• 수렴하거나 원하는 이론적 이론 갭 수준에 도달할 때까지 이 과정을 반복한다.
• 이 방법은 컷 생성을 통해 비볼록 구조적 정보를 통합하면서도 SDP 하위 문제의 볼록성을 유지한다.

실험 결과

연구 질문

• RQ1 SDP 기반 신경망 강건성 검증에서 이론적 이론 갭을 체계적으로 줄일 수 있는 방법은 무엇인가?
• RQ2 이산 프로그래밍에서 유도된 비볼록 컷은 SDP 이론의 타이트함을 얼마나 향상시키는가?
• RQ3 커트의 순차적 추가는 강건성 인증의 수렴성과 정확도에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 계산 가능성을 희생시키지 않고도 기존의 SDP 접근법보다 더 강력한 검증 보장을 달성할 수 있는가?

주요 결과

• 제안된 방법은 반복적인 비볼록 컷 추가를 통해 SDP 기반 강건성 검증에서 이론적 이론 갭을 성공적으로 줄였다.
• 커트 수가 증가할수록 검증 경계가 점차 타이트해지며, 실제 강건성 마진에 가까워진다.
• 이론적 분석은 제안된 컷 생성 방식 하에서 SDP 이론의 수열이 더 타이트한 경계로 수렴함을 확인한다.
• 실험적 평가에서는 특히 더 깊거나 더 복잡한 네트워크에서 기준 SDP 방법에 비해 향상된 검증 성능을 보였다.
• 계산 가능성을 유지하면서도 표준 SDP 이론에 비해 인증 정확도에서 뚜렷한 성능 향상을 보였다.
• 반복적인 컷 생성 과정은 단순히 볼록 이론에서 놓치는 비볼록 활성화 패턴을 효과적으로 포착하였다.