[论文解读] Assured Autonomy: Path Toward Living With Autonomous Systems We Can Trust

Ufuk Topcu, Nadya Bliss+5 more|arXiv (Cornell University)|Oct 27, 2020

Insurance and Financial Risk Management被引用 14

一句话总结

本文通过一系列研讨会提出了一套保障自主性的框架，识别了在国防、交通、医疗和基础设施等领域构建可信自主系统的核心挑战、研究趋势和战略优先事项。该框架提出了一项统一的研究议程，强调安全性、可靠性以及人机协作，以推动社会对自主技术的采纳。

ABSTRACT

The challenge of establishing assurance in autonomy is rapidly attracting increasing interest in the industry, government, and academia. Autonomy is a broad and expansive capability that enables systems to behave without direct control by a human operator. To that end, it is expected to be present in a wide variety of systems and applications. A vast range of industrial sectors, including (but by no means limited to) defense, mobility, health care, manufacturing, and civilian infrastructure, are embracing the opportunities in autonomy yet face the similar barriers toward establishing the necessary level of assurance sooner or later. Numerous government agencies are poised to tackle the challenges in assured autonomy. Given the already immense interest and investment in autonomy, a series of workshops on Assured Autonomy was convened to facilitate dialogs and increase awareness among the stakeholders in the academia, industry, and government. This series of three workshops aimed to help create a unified understanding of the goals for assured autonomy, the research trends and needs, and a strategy that will facilitate sustained progress in autonomy. The first workshop, held in October 2019, focused on current and anticipated challenges and problems in assuring autonomous systems within and across applications and sectors. The second workshop held in February 2020, focused on existing capabilities, current research, and research trends that could address the challenges and problems identified in workshop. The third event was dedicated to a discussion of a draft of the major findings from the previous two workshops and the recommendations.

研究动机与目标

• 应对在国防、医疗和交通等不同领域对自主系统信任日益增长的需求。
• 识别保障自主性中的关键挑战，包括安全性、可靠性以及人机交互。
• 综合现有研究和能力，为保障自主性的持续进展制定战略路线图。
• 促进学术界、产业界和政府利益相关方在推进可信自主系统方面的合作。
• 建立对保障自主性目标、研究需求和实施策略的统一理解。

提出的方法

• 组织了三场结构化研讨会，邀请来自学术界、产业界和政府的专家，讨论自主性保障中的挑战与解决方案。
• 第一场研讨会聚焦于识别保障自主系统中的跨领域挑战。
• 第二场研讨会评估了现有能力、研究趋势和技术解决方案，以应对已识别的挑战。
• 第三场研讨会评估了初稿发现与建议，将见解整合为一致的研究议程。
• 采用多学科方法，整合人工智能、人机交互、多智能体系统以及社会影响等多重视角。
• 发布了一份正式报告（CCC研讨会报告编号 ccc2020report_5），包含可操作建议和未来研究的战略框架。

实验结果

研究问题

• RQ1 在不同应用领域中，确保自主系统可信性和可靠性的关键挑战是什么？
• RQ2 哪些现有的研究和技术能力可以用于弥补自主性保障中的差距？
• RQ3 如何将人因工程和系统交互整合到保障型自主系统的设计中？
• RQ4 为实现保障自主性的持续进展，需要哪些战略优先事项和研究方向？
• RQ5 政府、产业界和学术界的利益相关方如何有效协作，以构建可信的自主系统？

主要发现

• 自主系统快速部署与稳健保障框架发展之间存在显著差距。
• 对自主性的信任取决于安全性、可靠性、透明度以及在多样化应用中有效的人机交互。
• 当前在人工智能、人机交互和多智能体系统领域的研究提供了基础能力，但需要进一步整合与标准化。
• 政府、产业界和学术界的利益相关方协作对于明确共同目标和加速进展至关重要。
• 需要制定战略路线图，以优先安排研究、协调资金并建立自主系统保障的度量标准。
• 报告指出，需长期投资于保障方法论、形式化验证以及自主系统设计中的伦理考量。