[論文レビュー] Towards Verified Artificial Intelligence

Sanjit A. Seshia, Dorsa Sadigh+1 more|arXiv (Cornell University)|Jun 27, 2016

Formal Methods in Verification参考文献 77被引用数 88

ひとこと要約

本稿は、検証可能な人工知能（Verified AI）のための形式的手法フレームワークを提案し、環境のモデル化、システム特性の仕様定義、学習ベースのシステムの検証といった課題に取り組む。本稿では、実行時の保証、形式的仕様の階層的定式化、意味的抽象化、合成的推論、ランタイム保証の5つの核心的原則を導入し、特に自律走行車両などの安全が重要な分野において、AIシステムにおける正当性の証明を可能にする。

ABSTRACT

Verified artificial intelligence (AI) is the goal of designing AI-based systems that that have strong, ideally provable, assurances of correctness with respect to mathematically-specified requirements. This paper considers Verified AI from a formal methods perspective. We describe five challenges for achieving Verified AI, and five corresponding principles for addressing these challenges.

研究の動機と目的

• 自律走行車両や医療分野などの安全が重要な分野におけるAIベースのシステムが引き起こす社会的リスクの増大に対処する。
• 複雑で不確実性が高く、動的変化する環境において、AIおよび機械学習システムに適用された従来の形式的手法の限界を克服する。
• 形式的仕様、検証、ランタイム監視を用いて、正当性保証が保証されたAIシステムの体系的フレームワークを構築する。
• 設計時とランタイムの保証を統合することで、理論的な形式的検証と実際のAIシステムの展開との間のギャップを埋める。
• 形式的合成、意味的モデリング、ハイブリッド検証技術を通じて、スケーラブルで信頼性のあるAIのためのロードマップを提供する。

提案手法

• 数学的仕様とアルゴリズム的証明探索を用いて、システム動作の検証を目的とする形式的手法の視点を採用する。
• 不確実性と人間の相互作用を捉えるために、能動的で内省的かつ確率的な環境モデリングを提案する。
• システムレベルの要件から出発し、コンポーネントレベルの特性へと導出する階層的仕様定式化技術を導入する。
• 離散論理と連続的ダイナミクスを組み合わせるため、ブール型と定量的仕様のハイブリッド表現を用い、サイバーフィジカルシステムの検証を可能にする。
• 合成的推論と制御されたランダム化を適用して、複雑でデータ駆動型のモデルへの検証スケーリングを実現する。
• モニタリングとバックアップモジュール（例：Simplexアーキテクチャ）を用いたランタイム保証を統合し、形式的検証が不完全な場合でも安全性を保証する。

実験結果

リサーチクエスチョン

• RQ1 不確実で動的変化する環境において、学習部を有するAIベースのシステムを検証するために形式的手法をどのように適合させられるか？
• RQ2 安全が重要なシステム内での機械学習モデルのスケーラブルかつ実用的な検証を可能にする原則は何か？
• RQ3 エンド・ツー・エンドの検証を支援するように、システムコンポーネント間で形式的仕様をどのように導出し、維持できるか？
• RQ4 完全な形式的検証が不可能な場合、ランタイムモニタリングとバックアップシステムが安全性を確保するために果たす役割は何か？
• RQ5 意味的抽象化と特徴空間は、ニューラルネットワークベースの認識および制御モジュールの検証可能性をどのように向上できるか？

主な発見

• 本稿は、検証可能なAIにおける5つの核心的課題を特定する：環境モデリング、形式的仕様定義、学習システムのモデリング、スケーラブルな検証、正しく構築された設計。
• これに対応する5つの原則を提案する：能動的でデータ駆動的かつ内省的な環境モデリング、階層的かつハイブリッドな仕様定義、学習システムのための意味的抽象化、合成的かつランダム化された推論、ランタイム保証の統合。
• 著者らは、これらの原則を実装するオープンソースツール（VerifAI と Scenic）を開発し、自律走行車両や航空宇宙分野の産業規模のシステムに応用した。
• フレームワークは、設計時分析とランタイム監視を組み合わせることで、安全が重要な分野におけるAIコンポーネントの形式的検証を可能にし、保証水準を著しく向上させる。
• 本アプローチは、深層ニューラルネットワークを有する複雑なサイバーフィジカルシステム（例：準自律走行車両の緊急ブレーキングシステム）の検証を可能にする。
• 本研究は、完全な決定可能性が得られない状況下でも、体系的な抽象化とハイブリッド検証技術を通じて、形式的手法が現代のAIシステムへと拡張可能であることを示している。