[論文レビュー] VERIFAI: A Toolkit for the Design and Analysis of Artificial Intelligence-Based Systems

Tommaso Dreossi, Daniel J. Fremont+5 more|arXiv (Cornell University)|Feb 12, 2019

Adversarial Robustness in Machine Learning参考文献 19被引用数 12

ひとこと要約

VerifAI は、シミュレーション、形式的仕様、確率的環境モデルを統合することで、AI/MLに基づくサイバーフィジカルシステムのシステムレベル分析を可能にする形式的検証ツールキットである。時間論理に基づく偽証明、反例誘導型データ拡張、ハイパーパrameterおよびパラメータ合成、および意味的特徴空間と Scenic を用いた環境モデル化を通じて、自律走行車両および制御システムのユースケースにおいて、検証されたシステム動作の向上を達成している。

ABSTRACT

We present VERIFAI, a software toolkit for the formal design and analysis of systems that include artificial intelligence (AI) and machine learning (ML) components. VERIFAI particularly seeks to address challenges with applying formal methods to perception and ML components, including those based on neural networks, and to model and analyze system behavior in the presence of environment uncertainty. We describe the initial version of VERIFAI which centers on simulation guided by formal models and specifications. Several use cases are illustrated with examples, including temporal-logic falsification, model-based systematic fuzz testing, parameter synthesis, counterexample analysis, and data set augmentation.

研究の動機と目的

• 安全性が求められるサイバーフィジカルシステムにおける、特にセンシングおよび学習コンponentsを備えた AI/ML ベースのシステムの検証の課題に対処すること。
• 生のセンサデータではなく、システムレベルの性質と抽象的な意味的特徴空間を用いることで、センシングコンponentsの仕様付けの難しさを克服すること。
• 反例誘導型データ拡張、パラメータ合成、ハイパーパrameterチューニングを通じて、ML コンponentsの形式的分析と設計を可能にすること。
• 形式的手法とデータ駆動型 ML ワークフローを統合するシミュレーションベースの検証の統合フレームワークを提供すること。
• 意味的特徴のガイド付き探索を用いて、複雑で不確実性を含む環境において、システムレベルの仕様違反の発見とレジリエンス分析を支援すること。

提案手法

• AI システム（センシング、プランナ/コントローラ、プラント）と環境モデルから構成されるクローズド・ループ CPS モデルを用い、システムレベルの仕様を検証のターゲットとする。
• 高次元入力（例：画像、LiDAR）を意味のある環境的属性として表現する意味的特徴空間の抽象化を採用し、スケーラブルな形式的分析を可能にする。
• Scenic という確率的プログラミング言語を統合し、エージェント数、位置、行動といった不確実性を含む環境を宣言的にモデリングする。
• 時間論理的性質を用いたシミュレーション誘導型偽証明を適用し、AI/ML コンポーネントにおける仕様違反を発見する。
• 偽証明から得た反例を用いて、誤分類されたサンプルを生成し、それらを再学習に活用することで、反例誘導型データ拡張を実装する。
• OpenAI Gym のような環境の報酬関数を最適化基準として用い、意味的特徴空間におけるガイド付き探索を通じて、ハイパーパrameterおよびモデルパラメータの合成を支援する。

実験結果

リサーチクエスチョン

• RQ1 センシングコンポーネントに形式的仕様がない場合、AI/ML コンポーネントをサイバーフィジカルシステムで効果的に検証するにはどうすればよいか？
• RQ2 意味的特徴空間と確率的環境モデリングは、AI システムのシミュレーションベース検証のスケーラビリティと現実性をどの程度向上できるか？
• RQ3 反例誘導型データ拡張は、安全性が求められる応用分野におけるMLモデルのレジリエンスと精度を顕著に向上させることができるか？
• RQ4 複雑で不確実性を含む環境において、意味的特徴のガイド付き探索は、システムレベルの仕様違反を効果的に発見できるか？
• RQ5 ハイパーパrameterおよびモデルパラメータの形式的合成は、学習されたコントローラの信頼性とパフォーマンスを向上させるのに果たす役割は何か？

主な発見

• VerifAI は、1,000回のパラメータ設定のサンプリングにおいて、カート・ポールコントローラーで合計38件の仕様違反を効果的に発見した。これは、効果的なレジリエンステストを示している。
• 反例誘導型データ拡張により、モデルのパフォーマンスが向上した。実験では、偽証明から得たサンプル（例：複数台の車両が誤分類された画像）を再学習に用いることで、検出精度が向上した。
• ツールキットは、マウンテン・カー・コントローラーにおけるハイパーパrameter探索を効果的に可能にした。神経ネットワークが山を登ることに成功したパラメータ設定を同定した。
• PCA を用いたエラー表の分析により、誤分類のパターンが明らかになり、特定の再学習とモデルの失敗モードの理解が可能になった。
• Scenic を用いた環境モデリングの統合により、複雑で不確実性を含む都市部交通シナリオを直感的かつ宣言的に指定可能になった。
• VerifAI の統合フレームワークは、意味的特徴空間の抽象化を一つの基盤として、偽証明、ファズ・テスト、パラメータ合成、データ拡張といった複数の検証および設計タスクを統合的にサポートしている。