[论文解读] Toward Defining a Domain Complexity Measure Across Domains

Katarina Z. Doctor, Christine Task+4 more|arXiv (Cornell University)|Mar 7, 2023

Software Engineering Research被引用 4

一句话总结

本文提出了一种与领域无关的框架，用于衡量人工智能系统中的领域复杂度，区分内在复杂度（与智能体无关）和外在复杂度（与智能体和任务相关）。该框架引入了一种可推广的度量方法，用于预测人工智能系统从封闭世界仿真环境过渡到开放世界环境时的难度，其关键洞见来自现实世界部署失败的案例，以及跨领域复杂度量化的理论基础。

ABSTRACT

Artificial Intelligence (AI) systems planned for deployment in real-world applications frequently are researched and developed in closed simulation environments where all variables are controlled and known to the simulator or labeled benchmark datasets are used. Transition from these simulators, testbeds, and benchmark datasets to more open-world domains poses significant challenges to AI systems, including significant increases in the complexity of the domain and the inclusion of real-world novelties; the open-world environment contains numerous out-of-distribution elements that are not part in the AI systems' training set. Here, we propose a path to a general, domain-independent measure of domain complexity level. We distinguish two aspects of domain complexity: intrinsic and extrinsic. The intrinsic domain complexity is the complexity that exists by itself without any action or interaction from an AI agent performing a task on that domain. This is an agent-independent aspect of the domain complexity. The extrinsic domain complexity is agent- and task-dependent. Intrinsic and extrinsic elements combined capture the overall complexity of the domain. We frame the components that define and impact domain complexity levels in a domain-independent light. Domain-independent measures of complexity could enable quantitative predictions of the difficulty posed to AI systems when transitioning from one testbed or environment to another, when facing out-of-distribution data in open-world tasks, and when navigating the rapidly expanding solution and search spaces encountered in open-world domains.

研究动机与目标

• 开发一种通用的、与领域无关的领域复杂度度量方法，适用于多种人工智能应用领域。
• 区分内在复杂度（与智能体无关）与外在复杂度（依赖于智能体和任务）。
• 实现在从仿真环境向开放世界环境过渡时，对人工智能系统难度的定量预测。
• 通过描述包含分布外元素的真实世界领域中的复杂度水平，支持人工智能系统的稳健部署。
• 为与领域无关的复杂度研究奠定基础，独立于特定领域或模型。

提出的方法

• 通过两个组成部分定义领域复杂度：内在复杂度（领域固有）与外在复杂度（依赖于智能体和任务）。
• 以与领域无关的方式表述复杂度组成部分，以SAIL-ON开放世界新颖性层级作为结构基础。
• 以新颖性层级（对象、智能体、动作、关系、交互、规则、目标、事件）为基础，识别复杂度维度。
• 分析现实世界部署失败案例（如AUV、机器人系统），识别由于感知差异和环境噪声导致的复杂度增加。
• 提出理论与实证研究路径，以验证在神经网络、动力系统及无限状态空间等系统中的复杂度度量方法。
• 整合边界框技术与状态空间建模，以在实际部署中展示复杂度缓解的可行性。

Figure 1: Venn diagram for open-world novelty

实验结果

研究问题

• RQ1 能否推导出一种与领域无关的复杂度度量方法，以预测在多样化领域中人工智能系统的难度？
• RQ2 领域复杂度与任务难度之间是否存在强理论关联，还是仅存在概率性关系？
• RQ3 复杂度度量能否应用于复杂系统（如网络、动力系统、微分方程），若可，其衡量维度为何？
• RQ4 适用于区分无限状态空间与动作空间中复杂度的数学框架有哪些？
• RQ5 如何在不依赖特定领域假设的前提下，跨多个领域实证验证复杂度度量方法？

主要发现

• 现实世界中的人工智能部署在开放世界环境中失败，原因在于领域复杂度的不可预见性增加，尤其是在感知和状态空间表示方面。
• 从仿真环境向真实世界部署的过渡常因智能体内部模型与外部环境之间的差异，导致病态行为。
• 在AUV部署中，边界框技术成功通过约束状态空间，缓解了复杂度，使系统在开阔海洋中实现稳定运行。
• 内在与外在复杂度框架为跨多样化领域量化领域复杂度提供了概念基础。
• 所提出的框架能够识别关键复杂度维度，如感知异质性、环境噪声以及分布外元素。
• 该研究议程明确了复杂度理论中的关键开放问题，包括其在无限系统与非线性动力学中的应用。

Figure 2: Minimum number of layers needed by DQN agent to achieve (left) 50% performance (pole balanced for 100 seconds) and (right) 100% performance (pole balanced for 200 seconds) on tasks in which the agent is trained on one value of gravity but is tested on another value.