[논문 리뷰] Abstraction based Output Range Analysis for Neural Networks

Pavithra Prabhakar, Zahra Rahimi Afzal|arXiv (Cornell University)|2020. 07. 18.

Neural Networks and Applications인용 수 22

한 줄 요약

이 논문은 레이저 기반 피드포워드 신경망을 위한 출력 범위 분석의 계산 복잡도를 줄이기 위해, 더 적은 수의 뉴런과 간격 가중치를 갖는 간격 신경망(INN)을 구성함으로써 새로운 추상화 기법을 제안한다. 이 방법은 원본 네트워크의 출력 범위를 과대추정하고 문제를 혼합정수선형계획문제(MILP)로 환원하여 계산 시간과 정밀도 사이의 트레이드오프를 달성하며, 추상화를 적용했을 때 ACAS Xu 벤치마크에서 뚜렷한 속도 향상을 보였다.

ABSTRACT

In this paper, we consider the problem of output range analysis for feed-forward neural networks with ReLU activation functions. The existing approaches reduce the output range analysis problem to satisfiability and optimization solving, which are NP-hard problems, and whose computational complexity increases with the number of neurons in the network. To tackle the computational complexity, we present a novel abstraction technique that constructs a simpler neural network with fewer neurons, albeit with interval weights called interval neural network (INN), which over-approximates the output range of the given neural network. We reduce the output range analysis on the INNs to solving a mixed integer linear programming problem. Our experimental results highlight the trade-off between the computation time and the precision of the computed output range.

연구 동기 및 목표

• 레이저 활성화를 갖는 딥 신경망에 대한 출력 범위 분석의 높은 계산 복잡도를 해결하기 위해.
• 출력 범위를 과대추정하면서도 뉴런 수를 줄이는 타당한 추상화 기법을 개발하기 위해.
• 간격 가중치를 사용한 네트워크 구조 단순화를 통해 신경망 제어 시스템의 효율적 검증을 가능하게 하기 위해.
• 출력 범위 추정에서 계산 시간과 정밀도 사이의 트레이드오프를 입증하기 위해.
• 기존의 MILP 솔버 및 Reluplex와 같은 검증 도구에 추상화를 통합할 수 있는 기반을 마련하기 위해.

제안 방법

• 각 층의 뉴런을 병합하여 간격 신경망(INN)을 구성하고, 병합된 노드 수에 비례하여 스케일된 볼륨의 볼륨을 통해 유도된 간격 가중치를 사용한다.
• 원본 네트워크의 출력 범위를 과대추정함으로써 추상화의 타당성을 보장한다.
• 이전 연구에서 제안된 확장된 인코딩을 사용하여 INN에서의 출력 범위 계산을 혼합정수선형계획문제(MILP) 문제로 환원한다.
• Gurobi와 같은 상용 MILP 솔버를 사용하여 추상화된 네트워크의 출력 범위 상한과 하한을 계산한다.
• 동일한 수의 추상화된 뉴런에 대해 다양한 무작위 분할 전략을 적용하여 정밀도 변동성을 평가한다.
• 다양한 추상화 수준에서 추상화 시간, 인코딩 시간, MILP 해법 시간을 측정하고 비교한다.

실험 결과

연구 질문

• RQ1 딥 신경망을 간격 신경망(INN)으로 추상화함으로써 출력 범위 분석의 계산 비용을 크게 줄일 수 있는가?
• RQ2 제안된 추상화 기법이 타당성을 유지하는가? 즉, INN이 원본 네트워크의 출력 범위를 과대추정하는가?
• RQ3 다양한 수의 추상화된 뉴런과 분할 전략에 따라 출력 범위 추정의 정밀도는 어떻게 변하는가?
• RQ4 추상화 시간, 인코딩 시간, MILP 해법 시간이 총 계산 비용에 기여하는 비율은 각각 얼마인가?
• RQ5 이 추상화 기법이 기존의 MILP 기반 또는 만족 가능성 기반 검증 방법의 확장성을 높이기 위해 사전 처리 단계로 사용될 수 있는가?

주요 결과

• Gurobi의 MILP 해법 시간이 전체 계산 파이프라인에서 지배적인 비용을 차지하며, 추상화된 뉴런 수가 일정 수를 초과하면 급격히 증가한다.
• 추상화 없이선 Gurobi가 전체 ACAS Xu 벤치마크에서 결과를 반환하지 못했으며, 이는 확장성을 위해 추상화가 필수적임을 보여준다.
• 추상화 시간과 인코딩 시간은 추상화된 뉴런 수에 따라 점진적으로 증가하지만, MILP 해법 시간은 급격히 증가하여 추상화가 가장 중요한 버티브로 작용함을 시사한다.
• 더 많은 추상화된 뉴런을 사용할수록 출력 범위의 상한이 뚜렷이 감소하여 정밀도 향상이 나타나지만, 같은 수의 추상화된 뉴런이라도 분할 전략에 따라 최대 2배까지 변동이 발생함을 보였다.
• 이 방법은 계산 시간과 출력 범위 정밀도 사이에 유리한 트레이드오프를 달성하며, 추상화를 적용했을 때 뚜렷한 속도 향상이 관찰되었다.
• 출력 범위의 정밀도는 특정 뉴런 분할 전략에 매우 민감하게 반응하므로, 향후 연구는 분할 전략 최적화에 초점을 맞추어야 한다.