[論文レビュー] RobustNeuralNetworks.jl: a Package for Machine Learning and Data-Driven Control with Certified Robustness

Nicholas H. Barbara, Max Revay+3 more|arXiv (Cornell University)|Jun 22, 2023

Model Reduction and Neural Networks被引用数 4

ひとこと要約

この論文では、再帰的均衡ネットワーク（RENs）およびリプシッツ有界深層ネットワーク（LBDNs）を用いて、認証可能ロバスト性を持つニューラルネットワークの学習を可能にするJuliaパッケージ、RobustNeuralNetworks.jlを紹介する。重みを直接、ユーザーが定義したロバスト性制約（例えばリプシッツ境界）を満たすようにパrameter化することにより、高価な adversarial training を用いずに認証可能ロバスト性を達成し、制御や状態推定などの安全に重要な応用分野への信頼できる導入を可能にする。

ABSTRACT

Neural networks are typically sensitive to small input perturbations, leading to unexpected or brittle behaviour. We present RobustNeuralNetworks.jl: a Julia package for neural network models that are constructed to naturally satisfy a set of user-defined robustness metrics. The package is based on the recently proposed Recurrent Equilibrium Network (REN) and Lipschitz-Bounded Deep Network (LBDN) model classes, and is designed to interface directly with Julia's most widely-used machine learning package, Flux.jl. We discuss the theory behind our model parameterization, give an overview of the package, and provide a tutorial demonstrating its use in image classification, reinforcement learning, and nonlinear state-observer design.

研究の動機と目的

• 小さな入力摂動に対して脆弱である標準的なニューラルネットワークの問題を、特に安全に重要な応用分野において解決すること。
• adversarial training や制約付き最適化の代替手段として、計算効率の良いロバストニューラルネットワーク学習の方法を提供すること。
• Flux.jl とのシームレスな相互運用性により、既存の機械学習ワークフローに認証可能ロバスト性を統合すること。
• 強化学習や非線形状態推定における制御則および観測器のロバストな学習を、形式的保証とともに可能にすること。
• 高水準で使いやすいパッケージを通じて、研究者や実務家が先進的なロバストニューラルネットワークアーキテクチャにアクセスできるようにすること。

提案手法

• ユーザーが定義したロバスト性制約を満たすようにパrameter化された柔軟なニューラルネットワークアーキテクチャである再帰的均衡ネットワーク（RENs）を活用する。
• リプシッツ定数の上界が組み込まれた、RENs の特殊なフィードフォワードサブクラスであるリプシッツ有界深層ネットワーク（LBDNs）を採用する。
• 重みとバイアスを直接パラメータ化してロバスト性を強制し、標準的な最適化（例：SGD）を用いた学習が可能でありながら、ロバスト性を保証する。
• Julia のメソッドディ patch および型システムを活用して、ロバストニューラルネットワーク層の効率的かつ合成可能な実装を実現する。
• Flux.jl とネイティブに統合され、ユーザーが既存の機械学習パイプライン内でロバストモデルを組み合わせて使用できる。
• 動的システムの微分可能シミュレーションとダイナミクスを経由したバックプロパゲーションを活用し、エンドツーエンドで認証可能ロバスト性を持つ制御則を学習する。

Figure 2: Simulation of a contracting REN with a single internal state. The system is simulated from two different initial states with the same sinusoidal input. The contracting system exponentially forgets its initial condition.

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークのアーキテクチャを、adversarial training を通じて学習するのではなく、構築段階でロバスト性が保証されるように設計することは可能か？
• RQ2 リプシッツ制約をどのようにニューラルネットワークの重みに直接埋め込むことで、入力摂動に対する感度が有界に保証できるか？
• RQ3 性能を犠牲にすることなく、強化学習や状態推定などの実世界の制御タスクにおいて、認証可能ロバスト性をどの程度達成できるか？
• RQ4 Julia などの高水準な科学計算言語を用いて、実用的な観点からロバストニューラルネットワークをどの程度効率的に学習・デプロイできるか？
• RQ5 Flux.jl のような既存の機械学習フレームワークとロバストモデルを、最小限のコード変更と完全な互換性を保ちながら統合することは可能か？

主な発見

• REN および LBDN アーキテクチャにより、制約なしの標準的最適化手法を用いても、認証可能ロバスト性を持つニューラルネットワークの学習が可能である。
• 本パッケージにより、リプシッツ境界 γ=20 を満たすロバスト制御則のエンドツーエンド学習が強化学習タスクで可能となり、入力変動に対する応答が有界であることが保証される。
• LBDN 制御則は、ランダムに選択された 80 個の目標位置において非線形質量-ばね-ダンパー系を安定化させ、状態推定および制御におけるロバスト性を実証した。
• Flux.jl との統合により、微分可能シミュレーションやバックプロパゲーションを含む既存の機械学習ワークフローでロバストモデルをシームレスに使用できる。
• 本手法は「両方の利点を兼ね備えた」ものであり、adversarial training や制約付き最適化の計算的負担を伴わずにロバスト性の保証を達成する。
• チュートリアルでは、画像分類、強化学習、非線形状態観測器設計への応用が成功裏に実施され、フレームワークの多様性が検証された。

Figure 3: Association of models and their parameters in (a) Flux.jl and (b) RobustNeuralNetworks.jl . In (a), model parameters $\theta$ are associated with the model . In (b), the direct parameters $\theta$ are associated with the parameterization model_ps , and are converted to explicit parameters