[논문 리뷰] Output Reachable Set Estimation and Verification for Multi-Layer Neural Networks

Weiming Xiang, Hoang-Dung Tran외 1명|arXiv (Cornell University)|2017. 08. 09.

Adversarial Robustness in Machine Learning참고 문헌 24인용 수 34

한 줄 요약

이 논문은 단조성 활성화 함수를 가진 다층퍼셉트론(MLPs)의 출력 도달 가능 집합 추정 및 안전성 검증을 위한 시뮬레이션 기반 방법을 제안한다. 최대 민감도를 계층별로 볼록 최적화 문제로 도입함으로써, 입력 이산화 및 도달튜브 구축을 통해 출력 집합의 과추정을 가능하게 하여, 활성화 함수를 근사하거나 입력 범위를 제한하지 않고도 타당한 안전성 검증을 실현한다.

ABSTRACT

In this paper, the output reachable estimation and safety verification problems for multi-layer perceptron neural networks are addressed. First, a conception called maximum sensitivity in introduced and, for a class of multi-layer perceptrons whose activation functions are monotonic functions, the maximum sensitivity can be computed via solving convex optimization problems. Then, using a simulation-based method, the output reachable set estimation problem for neural networks is formulated into a chain of optimization problems. Finally, an automated safety verification is developed based on the output reachable set estimation result. An application to the safety verification for a robotic arm model with two joints is presented to show the effectiveness of proposed approaches.

연구 동기 및 목표

• 비볼록이고 비선형적인 구조로 인해 흔히 블랙박스로 간주되는 다층퍼셉트론(MLPs)에서 안전성 성질을 검증하는 데 도전하는 문제를 다루기.
• 특정 활성화 함수(예: ReLU)에 의존하거나 비선형성을 근사하는 데 의존하는 기존 검증 방법의 한계를 극복하기.
• 단조성 조건을 만족하는 활성화 함수의 광범위한 클래스에 적용 가능한 일반 목적의 검증 프레임워크 개발하기.
• 격리된 점이 아닌 연속적인 입력 영역에서의 안전성 검증을 가능하게 하여 실제 응용 분야의 강건성 분석을 지원하기.
• SMT 솔버나 라파노프 기반 안정성 분석에 의존하지 않고, 시뮬레이션과 최적화를 활용한 확장 가능하고 자동화된 안전성 검증 방법 제공하기.

제안 방법

• 유한한 입력 변동에 의한 최악의 출력 편차를 측정하기 위해 최대 민감도 개념을 도입하고, 이를 계층별로 볼록 최적화 문제로 공식화하기.
• 활성화 함수의 단조성을 활용하여, 볼록 최적화를 통해 최대 민감도를 계층별로 계산하고, 계산의 타당성을 보장하기.
• 사용자 정의 반경 δ를 가진 그리드로 입력 공간을 이산화하여 유한한 시뮬레이션을 수행하고, 도달튜브의 합집합으로 출력 도달 가능 집합을 추정하기.
• 최대 민감도 값을 사용하여 각 계층을 통해 범위를 전파함으로써 출력 집합의 과추정을 구축하기.
• 추정된 도달 가능 집합이 불안전 영역과 교차하는지 확인함으로써 안전성 검증을 수행하기.
• 도달 가능 집합 추정과 안전성 검증을 하나의 파이프라인으로 통합한 자동화된 검증 함수(SafetyVeri)를 구현하기.

실험 결과

연구 질문

• RQ1 단조성 활성화 함수를 가진 MLP의 출력 도달 가능 집합을 시뮬레이션 기반 방법으로 효율적이고 타당하게 추정할 수 있는가?
• RQ2 최대 민감도는 다층퍼셉트론의 각 계층에서 어떻게 공식적으로 정의되고 계산될 수 있는가? 이를 통해 확장 가능한 도달 가능성 분석이 가능해지는가?
• RQ3 제안된 방법은 SMT 솔버나 활성화 함수 근사에 의존하지 않고 연속적인 입력 영역에서 안전성 성질을 얼마나 잘 검증할 수 있는가?
• RQ4 입력 이산화 반경 δ의 선택이 안전성 검증의 정확도와 타당성에 어떤 영향을 미치는가?
• RQ5 이 방법은 로봇 암과 같은 실제 제어 시스템에 효과적으로 적용되어 입력 불확실성 하에서의 안전성을 보장할 수 있는가?

주요 결과

• 단조성 활성화 함수를 가진 MLP에서 각 계층의 최대 민감도는 볼록 최적화를 통해 계산 가능하여 효율적이고 확장 가능한 분석이 가능하다.
• 입력 공간을 이산화하고 각 그리드 포인트에서 최대 민감도를 계산함으로써 출력 도달 가능 집합을 추정하며, 이는 출력 집합의 과추정을 이루는 도달튜브의 합집합이 된다.
• 추정된 도달 가능 집합이 불안전 영역과 교차하는지 확인함으로써 안전성 검증을 수행한다; 교차가 발생하지 않으면 MLP는 안전함으로 검증된다.
• 충분히 작은 이산화 반경 δ = 0.02를 사용할 경우, 이중 관절 로봇 암을 위한 MLP 모델의 안전성을 성공적으로 검증하였고, δ = 0.05는 안전성 결론을 내리기에 부족하였다.
• 이 방법은 활성화 함수를 근사하거나 입력 집합을 제한하지 않아도 되므로 일반적이며, ReLU, 시그모이드, 탄젠트 등 다양한 활성화 함수에 적용 가능하다.
• 수치적 결과는 5000회의 시뮬레이션만으로는 안전성을 보장할 수 없지만, 제안된 방법은 충분히 미세한 이산화에서 안전성을 확실히 증명할 수 있는 타당하고 자동화된 검증 프레임워크를 제공한다.