[论文解读] Lifelong Testing of Smart Autonomous Systems by Shepherding a Swarm of Watchdog Artificial Intelligence Agents

Hussein A. Abbass, John D. Harvey+1 more|arXiv (Cornell University)|Dec 21, 2018

Human-Automation Interaction and Safety参考文献 16被引用 11

一句话总结

本文提出了一组看护人工智能（Watchdog Artificial Intelligence, WAI）代理，作为智能自主系统（SAS）在其全生命周期运行过程中持续监督与测试的机制。通过充当自适应、自我验证的安全网，WAI代理实时监控SAS的行为，强制执行伦理与安全操作，并可在系统出现故障时将其关闭，从而实现在动态真实环境中的可信、持续演化的AI。

ABSTRACT

Artificial Intelligence (AI) technologies could be broadly categorised into Analytics and Autonomy. Analytics focuses on algorithms offering perception, comprehension, and projection of knowledge gleaned from sensorial data. Autonomy revolves around decision making, and influencing and shaping the environment through action production. A smart autonomous system (SAS) combines analytics and autonomy to understand, learn, decide and act autonomously. To be useful, SAS must be trusted and that requires testing. Lifelong learning of a SAS compounds the testing process. In the remote chance that it is possible to fully test and certify the system pre-release, which is theoretically an undecidable problem, it is near impossible to predict the future behaviours that these systems, alone or collectively, will exhibit. While it may be feasible to severely restrict such systems extquoteright \ learning abilities to limit the potential unpredictability of their behaviours, an undesirable consequence may be severely limiting their utility. In this paper, we propose the architecture for a watchdog AI (WAI) agent dedicated to lifelong functional testing of SAS. We further propose system specifications including a level of abstraction whereby humans shepherd a swarm of WAI agents to oversee an ecosystem made of humans and SAS. The discussion extends to the challenges, pros, and cons of the proposed concept.

研究动机与目标

• 解决智能自主系统（SAS）持续学习与演化的挑战，使传统发布前测试方法不再充分。
• 通过实现SAS行为的持续、运行时验证，克服静态验证与黑盒测试的局限性。
• 确保SAS在系统规格不完整且动态变化的社会技术环境中长期保持安全与可信。
• 通过引入独立、自适应的看护代理，实现SAS开发与安全认证的解耦。
• 提供一种可扩展的分层架构，使看护代理能够实时监督复杂且不断演化的自主系统。

提出的方法

• 提出一种看护人工智能（WAI）代理架构，旨在作为智能自主系统（SAS）全生命周期、自主测试代理。
• 将WAI系统建模为类似生物牧羊行为——特别是牧羊犬引导羊群——其中一名牧羊人WAI代理监督一群BSSN（行为安全与监管网络）WAI代理。
• 将BSSN WAI代理实现为自适应、保守且可验证的测试者，实时监控SAS决策的安全性、伦理性和系统影响。
• 使用标准化实验场景，评估SAS在多样化运行情境下的行为，实现一致且可重复的测试。
• 使WAI代理能够通过查询其输入与输出，动态估算先前未知SAS的行为空间，即使无法访问其内部状态。
• 通过分层组织WAI代理，实现对复杂多代理SAS生态系统的可扩展监督，同时控制动作聚合中的组合复杂性。

实验结果

研究问题

• RQ1 人工智能系统如何在全生命周期内实现持续测试，特别是在其行为随时间演变的情况下？
• RQ2 何种架构与操作原则可使看护代理在无法访问内部状态或源代码的情况下监督自主系统？
• RQ3 看护代理如何在实时适应新出现的未知SAS行为的同时，保持可验证性与保守行为？
• RQ4 何种机制可使看护代理群检测并缓解看似无害但长期累积后可能造成危害的行为复合效应？
• RQ5 如何在高速计算型看护系统中有效整合人工监督，而不引入延迟或不一致性？

主要发现

• 所提出的WAI架构通过部署一组自适应、行为监控型看护代理，实现了对智能自主系统（SAS）的全生命周期、实时功能测试。
• BSSN WAI代理作为保守且可验证的安全网，可在SAS行为超出预设安全或伦理边界时实施调控或关闭操作。
• 该系统实现了SAS开发与安全认证的解耦，使SAS设计者可自由创新，而WAI代理则持续保障系统的可信性。
• 看护代理可通过查询与标准化实验场景，估算先前未知SAS的行为空间，即使在缺乏内部系统访问的情况下亦可实现。
• WAI代理的分层组织支持在复杂多代理环境中实现可扩展性，但管理组合动作空间的挑战依然存在。
• 人类监督通过牧羊人WAI角色被识别为在高风险场景中可能必需，但其与计算型代理在速度与一致性上的不匹配带来了挑战。