[論文レビュー] Neural Networks for Safety-Critical Applications - Challenges, Experiments and Perspectives

Chih‐Hong Cheng, Frederik Diehl+6 more|arXiv (Cornell University)|Sep 4, 2017

Adversarial Robustness in Machine Learning参考文献 3被引用数 7

ひとこと要約

本論文は、ニューロンから特徴量へのトレーサビリティ、形式的検証、データ検証を組み合わせることで、自律走行における安全関連ニューラルネットワークの認証手法を提案する。高速道路走行予測器に適用した結果、横方向速度が安全閾値を超えないことが形式的に保証されたが、深層ネットワークではスケーラビリティが依然として課題である。

ABSTRACT

We propose a methodology for designing dependable Artificial Neural Networks (ANN) by extending the concepts of understandability, correctness, and validity that are crucial ingredients in existing certification standards. We apply the concept in a concrete case study in designing a high-way ANN-based motion predictor to guarantee safety properties such as impossibility for the ego vehicle to suggest moving to the right lane if there exists another vehicle on its right.

研究の動機と目的

• 自律走行のような安全関連応用分野におけるニューラルネットワークの形式的認証手法の不足に対処すること。
• 理解可能性、正しさ、妥当性の3要素を含む従来の安全認証基準を、ニューラルネットワーク固有の課題に適合させるために拡張すること。
• 自律走行車両のニューラルネットワークベースの走行予測器が、危険な車線変更を避けるなどの安全規則に準拠していることを保証すること。
• 交通システムにおける実世界のニューラルネットワークモデルに対する形式的検証の実現可能性と限界を調査すること。

提案手法

• 従来の認証手法に、理解可能性のためのニューロン-特徴量トレーサビリティ、正しさのための形式的解析（例：混合整数線形プログラミング）、新たな仕様タイプとしてのデータ検証の3つの追加要素を組み込む。
• シンボリック推論と混合整数線形プログラミング（MILP）を用いて、ニューラルネットワーク構造を形式的検証可能な形に符号化する。
• 自車の状態、周囲の車両、道路状況を含む84個の入力特徴量を持つ実世界の高速道路追い越し走行予測器に、この手法を適用する。
• 行動確率をガウス混合モデルで表現し、横方向速度出力に安全制約を課す。
• 検証の前提として、訓練データを事前に点検し、左車線走行時の左側に車両がいるような危険なシナリオを除外する。
• 特に量子化ネットワークにおいてスケーラビリティを向上させるために、ビットベクタ符号化を用いたSMTベースの検証を採用する。

実験結果

リサーチクエスチョン

• RQ1 理解可能性、正しさ、妥当性といった従来の認証概念を、安全関連システムにおけるニューラルネットワークに意味的に拡張できるか？
• RQ2 ニューロンレベルの挙動を、車線変更回避のような高レベルな安全特性に関連付ける方法は何か？
• RQ3 自律走行分野における実世界のニューラルネットワークアーキテクチャに対して、形式的検証の実用的限界は何か？
• RQ4 データ検証と形式的手法を併用することで、ニューラルネットワークベースの走行予測における安全性をどの程度保証できるか？
• RQ5 ネットワークの深さやアーキテクチャは、形式的検証のスケーラビリティと実現可能性にどのように影響を与えるか？

主な発見

• 横方向速度が出力が安全閾値を超えないことが、形式的に保証された。特に、左側に車両が存在する状況で、衝突回避が確保された。
• 検証時間は大きく変動した：浅いネットワーク（$I_{4\times10}$）では5.4秒、深いネットワーク（$I_{4\times50}$）では3.5時間以上を要し、スケーラビリティの課題が顕在化した。
• あるネットワーク（$I_{4\times60}$）は時間制限内に検証に成功しなかったことから、より効率的な検証アルゴリズムの開発が不可欠であることが示された。
• 同一の訓練データを使用しても、異なる重み値が異なる安全性保証をもたらしたため、学習そのものでは安全性が保証されないことが明らかになった。
• MILP符号化による形式的検証により、検証タイムアウトが発生しても、$I_{4\times60}$ネットワークにおいて横方向速度が3 m/sを超えないことが形式的に証明された。
• データ検証は極めて重要である：危険な訓練例を除外することが、安全特性の形式的検証に成功するための前提条件であった。