[论文解读] A Unifying Framework for Formal Theories of Novelty:Framework, Examples and Discussion

Terrance E. Boult, Przemyslaw A. Grabowicz+12 more|arXiv (Cornell University)|Dec 8, 2020

Anomaly Detection Techniques and Applications参考文献 8被引用 6

一句话总结

本文提出了一套统一的正式框架，用于在多样化领域中定义人工智能智能体的新颖性，通过在世界、观测和智能体空间中使用差异度和遗憾函数。该框架能够精确且一致地分类新颖性类型——如可感知新颖性、不可感知新颖性、可控新颖性和干扰性新颖性——从而解决新颖性检测领域长期存在的模糊性问题，并推动更稳健、可泛化的人工智能系统发展。

ABSTRACT

Managing inputs that are novel, unknown, or out-of-distribution is critical as an agent moves from the lab to the open world. Novelty-related problems include being tolerant to novel perturbations of the normal input, detecting when the input includes novel items, and adapting to novel inputs. While significant research has been undertaken in these areas, a noticeable gap exists in the lack of a formalized definition of novelty that transcends problem domains. As a team of researchers spanning multiple research groups and different domains, we have seen, first hand, the difficulties that arise from ill-specified novelty problems, as well as inconsistent definitions and terminology. Therefore, we present the first unified framework for formal theories of novelty and use the framework to formally define a family of novelty types. Our framework can be applied across a wide range of domains, from symbolic AI to reinforcement learning, and beyond to open world image recognition. Thus, it can be used to help kick-start new research efforts and accelerate ongoing work on these important novelty-related problems. This extended version of our AAAI 2021 paper included more details and examples in multiple domains.

研究动机与目标

• 解决人工智能与机器学习领域中缺乏统一、正式的新颖性定义的问题。
• 解决异常检测、开放集识别和分布外检测中术语不一致及对'新颖性'的非正式使用问题。
• 提供一个正式且可扩展的框架，支持开发能够检测、管理并从新输入中学习的智能体。
• 通过共享的理论语言，实现跨领域的新颖性检测模型比较与评估。
• 通过正式识别新颖性处理失败的时机与原因，特别是感知与世界状态不一致的情形，促进更稳健的AI系统设计。

提出的方法

• 定义一个包含三个核心空间的正式框架：世界状态空间 $\mathcal{W}$、观测空间 $\mathcal{O}$ 和智能体状态空间 $\mathcal{S}$，每个空间均具有相应的维度。
• 引入与任务相关的差异度函数 $\mathcal{D}_{w,\mathcal{T};E_t}$ 和 $\mathcal{D}_{o,\mathcal{T};E_t}$，用于度量世界和观测空间中与已知状态的偏离程度。
• 定义遗憾函数 $\mathcal{R}_{w,\mathcal{T}}$、$\mathcal{R}_{o,\mathcal{T}}$ 和 $\mathcal{R}_{a,\mathcal{T}}$，用于量化由于新输入导致的性能退化。
• 使用感知算子 $\mathcal{P}$ 建模对世界状态的间接访问，从而区分可观测与不可观测的新颖性。
• 基于世界、观测或智能体空间中是否存在差异度与遗憾，对新颖性类型进行分类，包括不可感知、可控和干扰性新颖性等子类型。
• 将该框架应用于CartPole环境，以展示其如何揭示新颖性评估中的隐藏问题，并指导更优的评估设计。

实验结果

研究问题

• RQ1 如何以一种统一的方式正式定义新颖性，使其适用于多样化的人工智能与机器学习问题领域？
• RQ2 世界层面、观测层面与智能体层面的新颖性之间的关键区别是什么？它们与性能遗憾有何关联？
• RQ3 感知与世界层面的差异度或遗憾之间存在差异时，会如何导致新颖性检测与管理的挑战？
• RQ4 正式框架在新颖性检测系统的设计与评估中，特别是在开放世界和强化学习设置中，能够发挥何种改进作用？
• RQ5 哪些类型的新颖性——如可控或干扰性新颖性——需要在评估指标中特别关注？如何正式识别它们？

主要发现

• 该框架通过结合世界、观测和智能体空间中的差异度与遗憾，成功形式化了多种新颖性类型，包括可感知、不可感知、可控和干扰性新颖性。
• 识别出不可感知的世界新颖性——即不改变观测但影响世界状态的新颖性——是一个关键挑战，尤其在无感知变化但性能遗憾较高的情况下。
• 干扰性新颖性（即世界与观测层面的差异度或遗憾不一致）被证明会复杂化评估过程，需在基准测试中谨慎处理。
• 该框架揭示了当世界层面与感知层面的新颖性评估出现分歧时，新颖性检测将显著困难，这一预测在CartPole案例研究中得到验证。
• 将该框架应用于CartPole环境，揭示了新颖性建模中的未预期问题，如未观测到的世界组件对性能的影响，从而获得新的实验洞见。
• 该形式化方法实现了跨领域新颖性模型的一致比较与开发，减少了研究中的模糊性，提升了开放集识别与分布外检测研究的可复现性。