[논문 리뷰] An approach to reachability analysis for feed-forward ReLU neural networks

Alessio Lomuscio, Lalit Maganti|arXiv (Cornell University)|2017. 06. 22.

Adversarial Robustness in Machine Learning참고 문헌 10인용 수 247

한 줄 요약

본 논문은 피드포워드 ReLU 네트워크의 도달 가능성 분석을 네트워크 실행을 계층당 하나의 이진 변수로 인코딩하는 선형 프로그래밍(LP)으로 formalize하고, 이를 통해 LP 기반 검증 및 신경 제어기에서의 버그 탐지를 가능하게 한다.

ABSTRACT

We study the reachability problem for systems implemented as feed-forward neural networks whose activation function is implemented via ReLU functions. We draw a correspondence between establishing whether some arbitrary output can ever be outputed by a neural system and linear problems characterising a neural system of interest. We present a methodology to solve cases of practical interest by means of a state-of-the-art linear programs solver. We evaluate the technique presented by discussing the experimental results obtained by analysing reachability properties for a number of benchmarks in the literature.

연구 동기 및 목표

• 안전-critical AI 시스템에서 신경망에 대한 형식적 검증의 필요성을 제시한다.
• FFNN 도달 가능성을 LP 타당성으로 매핑하는 선형 프로그래밍 인코딩을 개발한다.
• LP 인코딩에서 epsilon 완화로 부동 소수점 이슈를 다루는 방법을 보인다.
• 이 접근법을 벤치마크 제어기(역 Pendulum, Mountain Car, Acrobot) 및 실제 데이터넷(Reuters, MNIST)에 적용한다.
• 확장성 평가와 한계 및 향후 확장(순환 신경망, 합성)에 대해 논의한다.

제안 방법

• FFNN 층을 선형 제약과 ReLU 활성화를 포착하는 단일 이진 지표로 표현한다.
• 계층별 선형 인코딩을 구성하여 전체 LP를 도출하고, 그 해가 reachable 입력-출력 쌍에 대응하도록 한다.
• 부동 소수점 정밀도 차이를 고려하기 위해 epsilon 완화를 도입하고 목적함수의 합을 최소화하여 강건성을 높인다.
• 입력 집합 I에서 출력 집합 O로의 도달 가능성을 인코딩 C = Cin ∪ C ∪ Cout를 통해 LP 타당성 문제로 변환한다.
• 결과로 나온 혼합 정수 선형 프로그래트를 해결하기 위해 Gurobi를 사용하고, 타당성을 도달 가능성으로 해석한다.
• 확장성 평가를 위해 표준 제어 문제 및 대규모 데이터세트를 벤치마크한다.

실험 결과

연구 질문

• RQ1 선형으로 정의 가능한 입력 집합에서 선형으로 정의 가능한 출력 집합으로의 도달 가능성이 ReLU FFNN 인코딩에서 파생된 해가 존재하는 경우 정확하게 LP 타당성으로 표현될 수 있는가?
• RQ2 부동 소수점 오차가 LP 기반 도달 가능성 분석의 타당성에 어떤 영향을 미치며, epsilon 완화가 이를 어떻게 완화하는가?
• RQ3 다양한 크기의 네트워크 및 문제에서 LP 인코딩 도달 가능성 방법의 실질적 확장성은 어느 정도인가?
• RQ4 역 Pendulum, Acrobot 등에서의 신경 제어기의 버그나 안전 위반을 합리적인 계산 시간 내에 식별할 수 있는가?

주요 결과

• LP 인코딩은 FFNN에서 f(x)=y가 존재하는 입력 I와 출력 O가 있을 때 Chill 해가 존재하는 경우에만 해가 존재한다는 점에서 도달 가능성과 LP 타당성 간의 동등성을 확립한다.
• 부동 소수점 허용 오차는 필수적이며, 이와 연결된 epsilon 완화를 목표 함수의 합 최소화와 연결하면 수치적 한계 내에서의 건전한 분석이 가능하다.
• 벤치마크 전반(Inverted Pendulum, Mountain Car, Pendulum, Acrobot, Reuters, MNIST)에서 도달 가능성 질의가 많은 경우에 1초 미만으로 해결되어 실용적 확장성을 시사한다.
• LP를 해결하여 합성된 신경 제어기에 버그를 발견한 사례가 있으며, 이를 네트워크에 피드백하여 이슈를 확인할 수 있다.
• 상태 공간 크기, 변수 수(특히 이진 변수) 및 제약 수에 따라 성능이 달라지며, 일부 Acrobot 사례에서는 해결 시간이 수십 초까지 증가하는 등 더 큰 문제에서 차이가 나타난다.
• 메서드는 여러 층 및 상당한 규모의 네트워크를 처리할 수 있어 실제 관심이 높은 심층 네트넷에도 적용 가능함을 보여준다.