[论文解读] Assurance 2.0: A Manifesto

Robin Bloomfield, John Rushby|arXiv (Cornell University)|Apr 22, 2020

Safety Systems Engineering in Autonomy参考文献 19被引用 4

一句话总结

Assurance 2.0 提出了一套严谨且动态的系统保障框架，通过将形式化推理、证据评估和系统性缺陷反驳分析嵌入保障案例，增强了创新性。它通过演绎推理、确认理论和不可反驳性标准强化了传统保障，确保关于系统可信性的主张具有可辩护性、透明性和可审计性。

ABSTRACT

System assurance is confronted by significant challenges. Some of these are new, for example, autonomous systems with major functions driven by machine learning and AI, and ultra-rapid system development, while others are the familiar, persistent issues of the need for efficient, effective and timely assurance. Traditional assurance is seen as a brake on innovation and often costly and time consuming. We therefore propose a modernized framework, Assurance 2.0, as an enabler that supports innovation and continuous incremental assurance. Perhaps unexpectedly, it does so by making assurance more rigorous, with increased focus on the reasoning and evidence employed, and explicit identification of defeaters and counterevidence.

研究动机与目标

• 为应对现代系统（尤其是由人工智能驱动且快速开发的系统）日益增长的保障挑战，解决传统保障方法被认为过于缓慢并抑制创新的问题。
• 将保障从一种事后验证步骤转变为整合性、建设性的设计活动，支持持续的增量式保障。
• 通过形式化推理、明确的证据评估以及对疑虑和反例（缺陷反驳）的系统识别，强化保障。
• 建立一个支持认证的框架，确保主张不仅看似合理，而且在逻辑上成立且不可反驳，通过有文档记录的推理过程和对所有可信异议的反驳来实现。

提出的方法

• 采用声明-论据-证据（CAE）结构，并使用五个标准化的论据模块（证据整合、计算、分解、替换、具体化），以减少模糊性和错误。
• 要求论据步骤尽可能具有演绎性，并通过严格的前提条件确保完整性和对各要素（如组件或风险）的分布覆盖。
• 应用确认理论以评估证据的权重，确保其能够区分主张与其否定或反主张。
• 实施自然语言演绎主义（NLD），以确保整体论据的逻辑有效性，所有推理步骤均可从证据追溯至顶层主张。
• 通过辩证推理和反例，系统性地识别、记录并驳回潜在的缺陷反驳（包括削弱型和反驳型）。
• 将系统模型和理论基础（如静态分析）与保障案例本身分离，使重点集中于主张的构建与评估。

实验结果

研究问题

• RQ1 如何重构保障，以在不牺牲严谨性的前提下支持人工智能和自主系统领域的创新？
• RQ2 哪些机制可以确保保障论据不仅看似合理，而且在逻辑上成立且不可反驳？
• RQ3 如何通过系统性地探索反例和缺陷反驳，减轻保障中的确认偏误？
• RQ4 形式化的论据模板和证据加权在提升保障案例的可靠性与可审计性方面发挥什么作用？
• RQ5 保障如何从一种静态的、事后活动演变为一种动态的、持续集成于系统开发过程中的流程？

主要发现

• Assurance 2.0 通过要求基于完整且充分证明的证据的演绎推理步骤，实现了更可靠和透明的保障。
• 该框架通过使用一组标准化的五个论据模块并辅以严格的前提条件，减少了保障案例构建中的模糊性和错误。
• 通过应用确认理论，该框架确保证据不仅支持某一主张，还能将其与替代主张区分开来，从而增强其认识论强度。
• 不可反驳性标准确保所有已知疑虑和异议均被明确回应，且未被审查的疑虑的缺失也已记录，从而加强了主张的正当性。
• 对缺陷反驳及其通过反例或设计调整的驳回进行系统性记录，使保障案例更具韧性且可审计。
• 该方法为未来在缺陷反驳发现、论据构建和辩证评估方面的工具自动化奠定了基础，为复杂系统中可扩展的保障铺平了道路。