[论文解读] Ontological Crises in Artificial Agents' Value Systems

Peter de Blanc|arXiv (Cornell University)|May 19, 2011

Logic, Reasoning, and Knowledge参考文献 2被引用 6

一句话总结

本文解决了人工智能代理在本体论升级过程中可能出现的本体论危机问题——即当代理从一个本体升级到更精确的新本体时，原本在旧本体中定义的效用函数变得无定义。该文提出一种基于Kullback-Leibler散度最小化的映射方法，用于在不同本体之间转换状态转移矩阵与输出矩阵，成功在四状态与五状态走廊模型中实现了效用函数的对齐，结果显示效用函数近乎完全恢复，且目标行为保持直观合理。

ABSTRACT

Decision-theoretic agents predict and evaluate the results of their actions using a model, or ontology, of their environment. An agent's goal, or utility function, may also be specified in terms of the states of, or entities within, its ontology. If the agent may upgrade or replace its ontology, it faces a crisis: the agent's original goal may not be well-defined with respect to its new ontology. This crisis must be resolved before the agent can make plans towards achieving its goals. We discuss in this paper which sorts of agents will undergo ontological crises and why we may want to create such agents. We present some concrete examples, and argue that a well-defined procedure for resolving ontological crises is needed. We point to some possible approaches to solving this problem, and evaluate these methods on our examples.

研究动机与目标

• 识别并形式化人工代理在更换或升级其环境模型时所面临的本体论危机问题。
• 开发一种系统化且计算上可行的方法，将效用函数从旧本体系统转换到更精确的新本体系统。
• 确保代理在概念模型发生根本性变化时，仍能保持连贯的目标导向行为。
• 为构建能够应对概念与本体演化的价值对齐人工代理提供基础。

提出的方法

• 该方法使用具有明确动作与感知字母表的有限状态模型来建模代理，通过随机矩阵表示状态转移与输出。
• 提出一个从两个本体（O₀ 与 O₁）状态之间的映射函数 φ，用于效用函数的转换。
• 核心技术是通过最小化双向转移矩阵与输出矩阵之间的Kullback-Leibler散度之和来实现：∑ₓ DKL(T₁ˣ || φ⁻¹T₀ˣφ) + DKL(A₁ || φ⁻¹A₀φ) + ∑ₓ DKL(T₀ˣ || φT₁ˣφ⁻¹) + DKL(A₀ || φA₁φ⁻¹)。
• 采用爬山算法优化映射 φ，以寻找最能保持原始模型统计结构的解。
• 通过检查 φφ⁻¹ 与 φ⁻¹φ 是否接近单位矩阵来评估映射质量，以衡量可逆性与信息保留程度。
• 该方法在走廊模型上进行了测试，将四状态本体映射到五状态本体，验证了效用函数在变换下得以保持。

实验结果

研究问题

• RQ1 当人工代理更换或升级其环境本体时，如何保持其效用函数不变？
• RQ2 应采用何种标准来判断不同本体状态之间的有效映射，以确保代理目标的保留？
• RQ3 在多大程度上可以高效且可逆地计算本体之间的映射，以实现最小的信息损失？
• RQ4 是否可以系统性地将代理的效用函数从一个概念框架转换到另一个，而不会丧失目标一致性？
• RQ5 本体论转变对人工智能中价值对齐有何影响？

主要发现

• 在四状态与五状态走廊模型之间，最优映射 φ 的KL散度总和约为 0.055，表明两个本体之间具有高度保真度的对应关系。
• φφ⁻¹ 接近单位矩阵，非对角线元素大多低于 0.15，表明映射具有强可逆性与信息恢复能力。
• φ⁻¹φ 同样表现出接近单位矩阵的结构，最大非对角线元素约为 0.36，证实该映射几乎是可逆的。
• 在将 φ 映射应用于效用函数后，代理将最右侧状态的效用赋值为 1，其余状态均为 0，与期望目标（抵达右端）完全一致。
• 该方法在反直觉场景中成功保留了代理的目标——即走廊长度超出预期时，通过一致映射新状态实现。
• 结果表明，系统化的、基于信息论的方法能够有效解决有限状态模型中的本体论危机，实现在本体论转变过程中效用函数语义的完整保留。