[論文レビュー] Toward Scalable Verification for Safety-Critical Deep Networks

Lindsey Kuper, Guy Katz+4 more|arXiv (Cornell University)|Jan 18, 2018

Adversarial Robustness in Machine Learning参考文献 14被引用数 20

ひとこと要約

本論文は、安全で臨床的意義のある深層ニューラルネットワーク（DNN）のスケーラブルな検証のための二重的アプローチを提案する：まず、リラックススプリッティングを用いた遅延的ReLU分割を活用する特殊化されたSMTソルバ（例：Reluplex）の開発により、より大きなネットワークの検証を可能にし、次に、より小さい、より深い構造と区分線形活性化関数を備えた検証にやさしいアーキテクチャを持つDNNの設計により、形式的検証に適した構造を実現する。主な貢献は、航空機衝突回避システムで使用される100個以上のニューロンを有するDNNの検証を実証した点である。

ABSTRACT

The increasing use of deep neural networks for safety-critical applications, such as autonomous driving and flight control, raises concerns about their safety and reliability. Formal verification can address these concerns by guaranteeing that a deep learning system operates as intended, but the state of the art is limited to small systems. In this work-in-progress report we give an overview of our work on mitigating this difficulty, by pursuing two complementary directions: devising scalable verification techniques, and identifying design choices that result in deep learning systems that are more amenable to verification.

研究の動機と目的

• 自律走行車両や航空機で使用される大規模で安全が求められる深層ニューラルネットワーク（DNN）の検証の課題に対処すること。
• 従来のSMTベースの検証ツールが10個未塔の小さなネットワークにしか対応できなかったスケーラビリティの限界を克服すること。
• 性能を損なわずに形式的検証と相性の良いDNNの設計原則を確立すること。
• 高度なソルバ技術とアーキテクチャ的選択を組み合わせることで、実世界のDNNに対する実用的な形式的検証を可能にすること。

提案手法

• リラックススプリッティングを用いた遅延的ReLU制約分割を可能にする高水準なReLU述語を線形算術に拡張した特殊化SMTソルバ「Reluplex」を導入し、指数的状態空間の爆発を回避する。
• SATソルバとドメイン特化型線形プログラミング（LP）ソルバを組み合わせたハイブリッドアーキテクチャを採用し、解空間の効率的探索を可能にする。
• すべての可能な活性化状態を明示的に列挙しないで済む遅延的ReLUスプリッティング技術を適用し、検証中の探索空間を顕著に削減する。
• 浅く広い構造よりも、多くの小さな層を持つ深く狭い構造（多くの小さな層）を採用することで、組み合わせ的複雑性が低減され、検証が容易になる。
• シグモイドのような滑らかで非線形な関数よりも、ReLU やマックスプールングのような区分線形活性化関数を優先し、SMT符号化に対してより適している。
• 低精度演算とネットワークプルーニングを、モデルサイズの低減と検証可能性の向上を目的とした追加の設計選択肢として検討する。

実験結果

リサーチクエスチョン

• RQ1 SMTベースの検証は、現在の10個前後のニューロンの制限を超えて、数千個のニューロンを有するDNNにもスケーラブルに適用可能か？
• RQ2 形式的検証の過程でReLU活性化関数が引き起こす計算複雑性は、どのように軽減できるか？
• RQ3 DNN設計におけるどのアーキテクチャ的選択が、検証にやや好都合なネットワークを生み出すか？
• RQ4 活性化関数の種類、ネットワークの深さ、幅、精度は、検証ツールのスケーラビリティにどの程度影響を与えるか？
• RQ5 ハードウェアに配慮した設計選択（例：低精度演算、プルーニング）は、推論効率と形式的検証可能性の両方を向上させ得るか？

主な発見

• Reluplexは、航空機衝突回避システム（ACAS Xu）で使用される100個以上のニューロンを有するDNNを正常に検証した。これは、従来手法の10倍以上のスケーラビリティ向上を示している。
• Reluplexに組み込まれた遅延的ReLUスプリッティング技術により、ReLU活性化の組み合わせが生じる全指数的状態空間を探索する必要がなくなり、より大きなネットワークの検証が可能になった。
• 1層あたりのニューロン数が少なく、浅い層が多数あるネットワークは、少ない層数で広い構造のネットワークよりも、著しく検証が容易であることが判明した。
• ReLU やマックスプールングのような区分線形活性化関数を用いたDNNは、シグモイドのような滑らかで非線形な関数を用いたネットワークよりも、SMTベースの検証にはるかに適している。
• 低精度およびプルーニング処理を施したDNNは、デプロイメントにおける効率性が向上するだけでなく、サイズと複雑性が低減されるため、形式的検証にもより適している。
• 検証のスケーラビリティを向上させる設計選択（例：ネットワークトポロジーや活性化関数の選定）は、推論速度、メモリ使用量、電力効率の向上にも寄与する。