[論文レビュー] Assurance 2.0: A Manifesto

Robin Bloomfield, John Rushby|arXiv (Cornell University)|Apr 22, 2020

Safety Systems Engineering in Autonomy参考文献 19被引用数 4

ひとこと要約

Assurance 2.0 は、形式的推論、証拠評価、体系的な反証要因分析を保証ケースに統合することで、革新を促進する、きめ細やかで動的なシステム保証フレームワークを提唱する。伝統的な保証を帰納的推論、確認理論、反証不能基準によって強化し、信頼性のある、透明性があり、監査可能なシステム信頼性に関する主張を保証する。

ABSTRACT

System assurance is confronted by significant challenges. Some of these are new, for example, autonomous systems with major functions driven by machine learning and AI, and ultra-rapid system development, while others are the familiar, persistent issues of the need for efficient, effective and timely assurance. Traditional assurance is seen as a brake on innovation and often costly and time consuming. We therefore propose a modernized framework, Assurance 2.0, as an enabler that supports innovation and continuous incremental assurance. Perhaps unexpectedly, it does so by making assurance more rigorous, with increased focus on the reasoning and evidence employed, and explicit identification of defeaters and counterevidence.

研究の動機と目的

• 現代のシステム、特に AI 駆動型で急速に開発されるシステムにおける保証の増大する課題に対処する。伝統的な保証は遅く、革新を阻害すると見なされる。
• 保証を後から検証するステップから、継続的で段階的な保証を支援する統合的・構築的設計活動へと変革する。
• 形式的推論、明示的な証拠評価、懸念事項および反論（反証要因）の体系的同定を通じて、保証を強化する。
• 認証を支援するフレームワークを確立し、主張が単に妥当であるのではなく、文書化された推論とすべての信頼性のある反論の反論によって、妥当かつ反証不能であることを保証する。

提案手法

• 曖昧さと誤りを低減するため、証拠統合、計算、分解、代入、具体化の5つの標準化された証拠ブロックを備えた、主張－根拠－証拠（CAE）構造を採用する。
• 証拠の完全性と要素（例：コンポONENTや危険要因）への分配を保証する厳密な付加条件を備えた、可能な限り帰納的であるように証拠のステップを要請する。
• 確認理論を適用して証拠の重みを評価し、主張とその否定または反対主張の間で区別できるようにする。
• 自然言語における帰納的推論（NLD）を実装し、全体の主張の論理的妥当性を保証する。すべての推論ステップを証拠から最終的主張まで追跡可能にする。
• 弁証的推論と反論を通じて、潜在的な反証要因（下位反証と反論反証）を体系的に同定・文書化・排除する。
• システムモデルや理論的基盤（例：静的解析）を保証ケース自体から分離し、主張の構築と評価に集中できるようにする。

実験結果

リサーチクエスチョン

• RQ1 AI や自律システムにおける革新を損なわず、厳密性を保つために、保証をどのように再構築できるか？
• RQ2 保証の主張が単に妥当であるのではなく、妥当かつ反証不能であることを保証するメカニズムは何か？
• RQ3 反証要因と反論の体系的探求を通じて、保証における確認バイアスをどのように軽減できるか？
• RQ4 形式化された主張テンプレートと証拠の重み付けは、保証ケースの信頼性と監査可能性をどのように向上させるか？
• RQ5 保証は、静的で実装後の活動から、開発プロセスに統合された動的で継続的なプロセスへとどのように進化できるか？

主な発見

• Assurance 2.0 は、完全で適切に正当化された証拠に基づく帰納的推論ステップを要請することで、より信頼性が高く透明性のある保証を可能にする。
• 5つの標準化された証拠ブロックと厳密な付加条件を用いることで、保証ケース作成における曖昧さと誤りを低減する。
• 確認理論を適用することで、証拠が主張を支持するだけでなく、代替案と区別できることを保証し、その認識的強度を高める。
• 反証不能基準により、すべての既知の懸念事項と反論が明示的に扱われ、未検討の懸念が存在しないことが文書化される。これにより、主張の正当性が強化される。
• 反証要因とその反論や設計調整による排除を体系的に文書化することで、保証ケースの耐性と監査可能性が向上する。
• 将来的なツール自動化を支援し、反証要因の発見、主張構築、弁証的評価の自動化を可能にする。これにより、複雑なシステムにおけるスケーラブルな保証の実現が可能になる。