[논문 리뷰] RobustNeuralNetworks.jl: a Package for Machine Learning and Data-Driven Control with Certified Robustness

Nicholas H. Barbara, Max Revay외 3명|arXiv (Cornell University)|2023. 06. 22.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 논문은 Recurrent Equilibrium Networks (RENs)와 Lipschitz-Bounded Deep Networks (LBDNs)를 사용하여 인증된 강건성으로 신경망을 훈련시킬 수 있는 Julia 패키지 RobustNeuralNetworks.jl을 소개한다. 직접 사용자 정의된 강건성 제약 조건(예: 리프시츠 상한)을 만족하도록 가중치를 파arameter화함으로써, 비용이 많이 드는 적대적 훈련 없이도 인증된 강건성을 달성하며, 제어 및 상태 추정과 같은 안전이 중요한 응용 분야에서 신뢰할 수 있는 구현을 가능하게 한다.

ABSTRACT

Neural networks are typically sensitive to small input perturbations, leading to unexpected or brittle behaviour. We present RobustNeuralNetworks.jl: a Julia package for neural network models that are constructed to naturally satisfy a set of user-defined robustness metrics. The package is based on the recently proposed Recurrent Equilibrium Network (REN) and Lipschitz-Bounded Deep Network (LBDN) model classes, and is designed to interface directly with Julia's most widely-used machine learning package, Flux.jl. We discuss the theory behind our model parameterization, give an overview of the package, and provide a tutorial demonstrating its use in image classification, reinforcement learning, and nonlinear state-observer design.

연구 동기 및 목표

• 소규모 입력 변형에 취약한 표준 신경망의 취약성을 해결하기 위해, 특히 안전이 중요한 응용 분야에서.
• 강건한 신경망 훈련을 위한 적대적 훈련이나 제약 조건이 있는 최적화의 계산 비용을 줄이는 효율적인 대안을 제공하기 위해.
• Flux.jl과의 원활한 상호운용성을 통해 기존 머신러닝 워크플로우에 인증된 강건성을 통합하기 위해.
• 강화 학습 및 비선형 상태 추정에서 제어기와 관측기를 공식적인 보장을 함께 제공하는 방식으로 강건하게 훈련하기 위해.
• 고수준의 사용자 友好的한 패키지로 고급 강건 신경망 아키텍처를 연구자와 실무자들이 쉽게 접근할 수 있도록 하기 위해.

제안 방법

• 사용자 정의된 강건성 제약 조건을 만족하도록 설계된 유연한 신경망 아키텍처인 Recurrent Equilibrium Networks (RENs)를 활용한다.
• 리프시츠 상한에 대한 내장된 상한을 가진 REN의 특수한 피드포워드 하위 클래스인 Lipschitz-Bounded Deep Networks (LBDNs)를 적용한다.
• 강건성을 보장하기 위해 직접적으로 네트워크 가중치와 편향을 파arameter화함으로써, 표준 최적화(예: SGD)를 사용하면서도 강건성을 보장하는 훈련을 가능하게 한다.
• Julia의 다형적 디스패치와 타입 시스템을 활용하여 강건 신경망 레이어의 효율적이고 조합 가능한 구현을 구현한다.
• Flux.jl와 네이티브로 통합되어 기존 머신러닝 파ip라인 내에서 강건 모델을 조합할 수 있도록 한다.
• 다양분산 시뮬레이션과 역전파를 통한 동역학을 활용하여, 인증된 강건성을 갖는 제어기를 종단 간(end-to-end)으로 훈련시킨다.

Figure 2: Simulation of a contracting REN with a single internal state. The system is simulated from two different initial states with the same sinusoidal input. The contracting system exponentially forgets its initial condition.

실험 결과

연구 질문

• RQ1 신경망 아키텍처를 설계하여, 강건성이 적대적 훈련을 통해 학습되는 것이 아니라 구조적으로 보장되도록 만들 수 있는가?
• RQ2 리프시츠 제약 조건을 어떻게 직접적으로 신경망 가중치에 통합하여 입력 변형에 대한 민감도를 제한할 수 있는가?
• RQ3 실제 제어 작업, 예를 들어 강화 학습 및 상태 추정에서 성능을 크게 저하시키지 않고도 얼마나 높은 수준의 인증된 강건성을 달성할 수 있는가?
• RQ4 Julia와 같은 고수준 과학 계산 언어를 사용하여 실질적으로 강건 신경망을 얼마나 효율적으로 훈련하고 배포할 수 있는가?
• RQ5 Flux.jl과 같은 기존 머신러닝 프레임워크와의 통합을 얼마나 적은 코드 변경과 완전한 호환성으로 달성할 수 있는가?

주요 결과

• REN 및 LBDN 아키텍처는 표준 제약 조건이 없는 최적화 방법을 사용하여 인증된 강건성을 갖춘 신경망 훈련을 가능하게 한다.
• 패키지는 리프시츠 상한 γ=20를 갖는 강건 제어기를 강화 학습 작업에서 종단 간으로 훈련시킬 수 있게 하며, 입력 변동에 대한 반응이 제한됨을 보장한다.
• LBDN 제어기는 80개의 랜덤으로 샘플된 목표 위치에서 비선형 질량- coil- dampers 시스템을 안정화시키며, 상태 추정 및 제어에서의 강건성을 입증한다.
• Flux.jl과의 통합을 통해 강건 모델을 기존 머신러닝 워크플로우에서 원활하게 사용할 수 있으며, 다양한 분산 시뮬레이션과 역전파를 지원한다.
• 이 방법은 '양면의 최고'를 실현한다: 적대적 훈련이나 제약 조건이 있는 최적화의 계산적 부담 없이도 강건성 보장을 달성한다.
• 튜토리얼은 이미지 분류, 강화 학습, 비선형 상태 관측기 설계 분야에서의 성공적인 적용을 보여주며, 이 프레임워크의 유연성을 검증한다.

Figure 3: Association of models and their parameters in (a) Flux.jl and (b) RobustNeuralNetworks.jl . In (a), model parameters $\theta$ are associated with the model . In (b), the direct parameters $\theta$ are associated with the parameterization model_ps , and are converted to explicit parameters