[論文レビュー] Trusted Neural Networks for Safety-Constrained Autonomous Control

Shalini Ghosh, Amaury Mercier+4 more|arXiv (Cornell University)|May 18, 2018

Adversarial Robustness in Machine Learning参考文献 18被引用数 3

ひとこと要約

本稿では、2つの手法を用いて深層ニューラルネットワークに1階論理の安全制約を統合するフレームワーク「信頼性のあるニューラルネットワーク（TNNs）」を紹介する。1つはデータとルールからの統合学習を可能にするマルチヘッドアーキテクチャであり、もう1つはプロキシマル勾配に基づく制約付き最適化である。主な貢献は、自律制御タスクにおける安全性の向上と収束速度の高速化であり、自己走行車シミュレータで90％までの不安全行動の抑制と、より速いMSE収束が確認された。

ABSTRACT

We propose Trusted Neural Network (TNN) models, which are deep neural network models that satisfy safety constraints critical to the application domain. We investigate different mechanisms for incorporating rule-based knowledge in the form of first-order logic constraints into a TNN model, where rules that encode safety are accompanied by weights indicating their relative importance. This framework allows the TNN model to learn from knowledge available in form of data as well as logical rules. We propose multiple approaches for solving this problem: (a) a multi-headed model structure that allows trade-off between satisfying logical constraints and fitting training data in a unified training framework, and (b) creating a constrained optimization problem and solving it in dual formulation by posing a new constrained loss function and using a proximal gradient descent algorithm. We demonstrate the efficacy of our TNN framework through experiments using the open-source TORCS~\cite{BernhardCAA15} 3D simulator for self-driving cars. Experiments using our first approach of a multi-headed TNN model, on a dataset generated by a customized version of TORCS, show that (1) adding safety constraints to a neural network model results in increased performance and safety, and (2) the improvement increases with increasing importance of the safety constraints. Experiments were also performed using the second approach of proximal algorithm for constrained optimization --- they demonstrate how the proposed method ensures that (1) the overall TNN model satisfies the constraints even when the training data violates some of the constraints, and (2) the proximal gradient descent algorithm on the constrained objective converges faster than the unconstrained version.

研究の動機と目的

• 自律制御アプリケーションにおける重要な安全制約を満たす深層ニューラルネットワークの開発を目的とする。
• ドメイン固有の論理ルール（例：左車線からの左折不可）を、データと併せてニューラルネットワークの学習に統合することを目的とする。
• 訓練データが制約を違反しても出力制約が満たされるようにすることで、モデルの信頼性を向上させることを目的とする。
• プロキシマル勾配法を用いた制約付き最適化により、学習の収束を高速化することを目的とする。
• 3次元車両シミュレータを用いて、TNNの有効性を安全が重要な環境で評価することを目的とする。

提案手法

• ラベル付きデータから学習するヘッドと、1階論理制約から学習するヘッドを持つマルチヘッドニューラルネットワークアーキテクチャを提案し、パラメータ共有のための共有層を備える。
• データ適合性と制約満足度の両立を図るため、トレードオフハイパーパrameter λ を用いた統合損失関数を用いる。
• 訓練を制約付き最適化問題として定式化する：損失を最小化するが、g(o′) ≤ 0 を満たす必要がある。ここで g は安全ルールを符号化する。
• 制約付き問題のデュアル定式化を採用し、最適化に適した新しい制約付き損失関数を導入する。
• 制約付き目的関数にプロキシマル勾配降下法を適用し、非制約学習に比べてより速い収束を実現する。
• 合成データセットの生成に、制御されたノイズと安全違反を含む3次元シミュレータ（TORCS）を用いる。

実験結果

リサーチクエスチョン

• RQ1 訓練データが制約を違反しても、1階論理ルールから導かれる安全制約を満たすように、深層ニューラルネットワークを学習可能か？
• RQ2 ルールベースの安全制約を統合することで、自律制御タスクにおけるモデルの性能と安全性はどのように変化するか？
• RQ3 プロキシマル勾配降下法による制約付き最適化は、非制約学習に比べて収束が速いか？
• RQ4 安全ルールの重要度重み（λ）が、不安全行動の抑制能力にどのように影響するか？
• RQ5 ルールが明示的に分かっていない状況でも、マルチヘッドTNNアーキテクチャはデータから安全ルールを効果的に学習・実装できるか？

主な発見

• 論理ベースの実験では、状態0における危険な左折の確率が0.10から0.0093に低下し、不安全行動の効果的な抑制が確認された。
• 制約重みλを増加させることで、不安全行動の確率がさらに低下し、安全制約のチューニング可能な強化が可能であることが示された。
• TORCSデータセットでは、制約付きTNNが非制約モデルよりも低い平均二乗誤差（MSE）を達成しており、一般化性能の向上が裏付けられた。
• プロキシマル勾配法は非制約学習に比べて収束が速く、特にノイズの多いデータセットBではMSEがゼロに達しなかったが、より速く減少した。
• マルチヘッドTNNモデルは、ルールの重要度を高めるほど安全性の向上が見られ、ルール重みがモデル行動を効果的に制御できることを確認した。
• TNNフレームワークは、訓練データに違反が含まれても安全制約を正しく強制でき、データノイズに対して高いロバストネスを示した。