[논문 리뷰] Automated Repair of Neural Networks

Dor Cohen, Ofer Strichman|arXiv (Cornell University)|2022. 07. 17.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 형식적 안전 사양을 만족시키기 위해 몇 가지 가중치만 수정함으로써 안전하지 않은 신경망을 자동으로 수리하는 SMT 기반 프레임워크를 제안한다. 이 방법은 최소한의 정확도 손실로 적대적 공격에 강건한 성능을 달성하며, 수리 문제를 논리적 제약 만족 문제로 공식화함으로써 원래 네트워크와 유사한 동작을 보장하는 증명 가능하게 올바른 방법을 제공한다.

ABSTRACT

Over the last decade, Neural Networks (NNs) have been widely used in numerous applications including safety-critical ones such as autonomous systems. Despite their emerging adoption, it is well known that NNs are susceptible to Adversarial Attacks. Hence, it is highly important to provide guarantees that such systems work correctly. To remedy these issues we introduce a framework for repairing unsafe NNs w.r.t. safety specification, that is by utilizing satisfiability modulo theories (SMT) solvers. Our method is able to search for a new, safe NN representation, by modifying only a few of its weight values. In addition, our technique attempts to maximize the similarity to original network with regard to its decision boundaries. We perform extensive experiments which demonstrate the capability of our proposed framework to yield safe NNs w.r.t. the Adversarial Robustness property, with only a mild loss of accuracy (in terms of similarity). Moreover, we compare our method with a naive baseline to empirically prove its effectiveness. To conclude, we provide an algorithm to automatically repair NNs given safety properties, and suggest a few heuristics to improve its computational performance. Currently, by following this approach we are capable of producing small-sized (i.e., with up to few hundreds of parameters) correct NNs, composed of the piecewise linear ReLU activation function. Nevertheless, our framework is general in the sense that it can synthesize NNs w.r.t. any decidable fragment of first-order logic specification.

연구 동기 및 목표

• 자율 시스템과 같은 안전이 중요한 애플리케이션에서 사용되는 신경망의 안전성 확보라는 핵심 과제를 해결하기 위해.
• 특히 적대적 공격에 대한 강건성을 확보하지 못하는 신경망을 형식적이고 증명 가능한 방법으로 수리하기 위해.
• 기존 네트워크의 결정 경계와 정확도를 유지하면서 가중치 수정 수를 최소화하기 위해.
• 적대적 공격 강건성에 국한되지 않고, 어떤 결론 가능(first-order logic) 사양에도 적용 가능한 일반적인 프레임워크를 개발하기 위해.
• 반복적인 적대적 훈련의 대안으로, 형식적 방법을 사용해 직접 안전하고 검증된 네트워크 파rameter를 합성하기 위해.

제안 방법

• 신경망 수리 문제를 이론에 기반한 만족 가능성 문제(SMT)로 공식화하여, 네트워크 구조와 안전 사양을 논리적 제약 조건으로 표현한다.
• 소수의 네트워크 가중치(예: w21, bias21)에 대해 존재적 양화를 사용하여 사양을 만족하는 유효한 파rameter 할당을 탐색한다.
• ReLU 활성화 함수를 SMT 공식 내에서 if-then-else 구성으로 표현하여 조각별 선형 행동을 모델링한다.
• SMT 솔버를 사용해 안전한 파rameter 할당이 존재하는지 판단하며, 수리 가능하면 SAT를 반환하고, 그렇지 않으면 UNSAT를 반환한다.
• 검색 공간를 축소하고 최적의 수리 대상 가중치를 선택함으로써 계산 효율성을 향상시키는 휴리스틱 기법을 적용한다.
• 결론 가능(first-order logic) 사양에 대해 일반화 가능하며, 적대적 공격 강건성 외의 응용에도 활용 가능하다.

실험 결과

연구 질문

• RQ1 SMT 솔버는 안전 사양을 충족하지 못하는 신경망을 자동으로 수리하는 데 효과적으로 활용될 수 있는가?
• RQ2 수리 과정이 원래 네트워크의 정확도와 결정 경계를 어느 정도 유지할 수 있는가?
• RQ3 제안된 SMT 기반 수리 방법은 적대적 훈련과 단순 기저선 대비 효과성과 효율성에서 어떻게 비교되는가?
• RQ4 이 프레임워크는 더 크거나 더 복잡한 신경망 아키텍처로의 확장성은 어떻게 되는가?
• RQ5 이 프레임워크는 적대적 공격 강건성 외에도 임의의 결론 가능(first-order logic) 사양을 강제로 적용할 수 있는가?

주요 결과

• 제안된 프레임워크는 최대 몇백 개의 파rameter를 가진 소형 신경망을 성공적으로 수리하여, 정확도 손실이 미미한 수준에서 적대적 공격에 강건한 성능을 달성한다.
• SMT 해결을 통해 직접 안전한 가중치를 합성함으로써 증명 가능하게 올바른 신경망 표현을 생성하며, 반복적 재훈련을 피한다.
• 실험 결과, 프레임워크는 수리 성공률과 정확도 유지 측면에서 단순 기저선보다 뛰어난 성능을 보였다.
• 프레임워크는 적대적 공격 강건성에 국한되지 않고, 어떤 결론 가능(first-order logic) 사양에도 적용 가능하여 일반성을 확보한다.
• 전략적 가중치 선택 및 솔버 튜닝과 같은 휴리스틱 기법이 계산 성능을 향상시켜 더 현실적인 벤치마크 탐색을 가능하게 하였다.
• SMT 인코딩은 조각별 선형 ReLU 네트워크를 성공적으로 포괄하며, 제약 조건 해결을 통한 안전성 성질의 형식적 검증을 가능하게 하였다.