[논문 리뷰] POLAR: A Polynomial Arithmetic Framework for Verifying Neural-Network Controlled Systems

Chao Huang, Jiameng Fan외 7명|arXiv (Cornell University)|2021. 06. 25.

Adversarial Robustness in Machine Learning참고 문헌 26인용 수 5

한 줄 요약

POLAR는 테일러 모델(TM) 산술과 베르슈타이너 다항식 및 기호 잔여항을 통합함으로써 신경망 제어 시스템(NNCS)에 대한 효율적이고 정밀한 유한시간 도달 가능 분석을 가능하게 하는 새로운 다항식 산술 프레임워크이다. 이 방법은 이전 기법들이 유연성 없는 ReLU 활성화 함수를 처리하는 데서 비롯하는 한계와 잔여항의 급격한 증가 문제를 해결하여 도달 가능한 집합에 대한 훨씬 더 날카운 과거근을 제공하고 최신 기술 대비 뛰어난 확장성을 확보한다.

ABSTRACT

We present POLAR, a polynomial arithmetic-based framework for efficient bounded-time reachability analysis of neural-network controlled systems (NNCSs). Existing approaches that leverage the standard Taylor Model (TM) arithmetic for approximating the neural-network controller cannot deal with non-differentiable activation functions and suffer from rapid explosion of the remainder when propagating the TMs. POLAR overcomes these shortcomings by integrating TM arithmetic with extbf{Bernstein B{é}zier Form} and extbf{symbolic remainder}. The former enables TM propagation across non-differentiable activation functions and local refinement of TMs, and the latter reduces error accumulation in the TM remainder for linear mappings in the network. Experimental results show that POLAR significantly outperforms the current state-of-the-art tools in terms of both efficiency and tightness of the reachable set overapproximation. The source code can be found in https://github.com/ChaoHuang2018/POLAR_Tool

연구 동기 및 목표

• 비미분 가능한 활성화 함수를 포함한 신경망 제어 시스템(NNCS)의 안전성 검증 문제를 해결하기 위해.
• 표준 테일러 모델(TM) 산술의 한계를 극복하여 신경망 전파 과정에서 정밀도와 효율성을 향상시키기 위해.
• 다항식 산술 기법의 통합을 통해 NNCS에서의 도달 가능한 집합에 대한 확장 가능하고 날카로운 과거근을 가능하게 하기 위해.
• 연속시간 및 이산시간 NNCS 모두를 지원하며, QUAD 및 마운틴 카와 같은 벤치마크를 포함하기 위해.
• 특히 깊거나 넓은 네트워크에서의 레이어 간 전파 과정에서 TM 잔여항의 오차 누적 문제를 줄이기 위해.

제안 방법

• 비미분 가능한 활성화 함수(예: ReLU)를 다룰 수 있도록 테일러 모델(TM) 산술과 베르슈타이너 다항식 형태를 통합하여, 비미분점에서도 다항식 과거근을 가능하게 한다.
• 단변수 베르슈타이너 근사 기법을 활용한 국소적 정밀도 향상 기법을 도입하여, 표준 TM이 높은 잔여항 증가 문제를 겪는 작은 영역에서 정밀도를 향상시킨다.
• 구간 기반 잔여항 대신 기호 잔여항을 사용하여, 네트워크 내 선형 변환 과정에서의 오차 누적, 특히 다수의 레이어를 거쳐도 오차가 증가하는 문제를 줄인다.
• 베르슈타이너 근사와 기호 잔여항 기법을 융합한 하이브리드 접근법을 적용하여, TM 전파 과정에서 정밀도와 계산 비용의 균형을 맞춘다.
• 신경망의 각 레이어를 단계별로 거쳐 TM 플로우파이프를 구성함으로써 시간 단계 간 상태 의존성을 유지하고, 정확한 폐쇄형 도달 가능 분석을 가능하게 한다.
• 연속시간 시스템(예: QUAD)과 이산시간 시스템(예: 마운틴 카)을 모두 지원하여 광범위한 적용 가능성을 입증한다.

실험 결과

연구 질문

• RQ1 비미분 가능한 활성화 함수(예: ReLU)를 포함한 신경망 제어 시스템에서 다항식 산술 프레임워크가 효과적으로 작동할 수 있는가?
• RQ2 심층 신경망의 레이어 간 전파 과정에서 잔여항의 급격한 증가를 방지하기 위해 테일러 모델 산술을 어떻게 확장할 수 있는가?
• RQ3 베르슈타이너 다항식 형태는 도달 가능 분석에서 TM 과거근의 정밀도를 얼마나 향상시킬 수 있는가?
• RQ4 기호 잔여항의 통합은 구간 기반 잔여항 표현 방식에 비해 오차 누적 문제를 얼마나 줄이는가?
• RQ5 제안된 프레임워크는 더 큰 또는 더 깊은 신경망에 대해서도 도달 가능한 집합 과거근을 유지하면서 확장 가능한가?

주요 결과

• QUAD 및 마운틴 카 벤치마크에서 Verisig 2.0, ReachNN*, NNV와 같은 최신 기술 대비 POLAR는 훨씬 더 날카로운 도달 가능한 집합 과거근을 달성한다.
• QUAD 벤치마크에서 x₃의 50단계에서 TM 잔여항 폭을 k=2, X₀=0.05 조건에서 1.2e-4로 줄였으며, 베르슈타이너 근사 사용 비율은 1.34%에 불과하여 모든 다른 설정보다 뛰어난 성능을 보였다.
• X₀=0.05 및 k=2 조건에서 POLAR는 50단계 도달 가능 분석을 231초 내에 완료하였고, 잔여항 폭은 1.2e-4이었다. 반면 Verisig 2.0는 확장성 한계로 인해 계산을 수행하지 못했다.
• 베르슈타이너 근사와 기호 잔여항을 동시에 사용할 경우, 기준 TM 대비 잔여항 폭을 최대 90%까지 줄일 수 있었으며, 특히 잔여항이 잘 제어되는 경우 기존 설정에서 베르슈타이너 근사 사용률이 0%일 경우에도 효과를 발휘했다.
• POLAR는 네트워크의 깊이와 폭 증가에 대해 잘 확장되며, 최대 5층, 1층당 200개의 뉴런을 가진 네트워크에서도 성능을 유지한다. 다만 초기 집합 반경이 클수록 실행 시간이 증가한다.
• 더 큰 초기 집합(X₀=0.4) 조건에서도 POLAR는 50단계 분석을 1271초 내에 완료하였고, 다른 도구들은 계산을 수행하지 못했다. 이는 불확실성 크기에 대한 강건성을 입증한다.