[论文解读] Bounded Recursive Self-Improvement

Eric Nivel, Kristinn R. Þórisson+11 more|arXiv (Cornell University)|Dec 24, 2013

Embodied and Extended Cognition参考文献 24被引用 18

一句话总结

本文提出了一种有界递归自我改进架构，使人工智能系统能够在未充分指定的现实环境中通过持续的自我建模、反思性推理和以价值为导向的任务优先排序，自主提升其性能。该系统通过动态调度推理线程并在预设设计约束内自我优化，实现了复杂任务的在线学习——在实时多模态人机对话中得到验证，为通用人工智能提供了可扩展的蓝图。

ABSTRACT

We have designed a machine that becomes increasingly better at behaving in underspecified circumstances, in a goal-directed way, on the job, by modeling itself and its environment as experience accumulates. Based on principles of autocatalysis, endogeny, and reflectivity, the work provides an architectural blueprint for constructing systems with high levels of operational autonomy in underspecified circumstances, starting from a small seed. Through value-driven dynamic priority scheduling controlling the parallel execution of a vast number of reasoning threads, the system achieves recursive self-improvement after it leaves the lab, within the boundaries imposed by its designers. A prototype system has been implemented and demonstrated to learn a complex real-world task, real-time multimodal dialogue with humans, by on-line observation. Our work presents solutions to several challenges that must be solved for achieving artificial general intelligence.

研究动机与目标

• 设计一种能够在未充分指定的现实环境中实现持续、目标导向的自我改进的系统。
• 在设计师设定的预定义边界内实现递归自我改进，避免无控制的优化。
• 实现一种动态的、以价值为导向的并行推理线程调度机制，以优先处理学习与适应。
• 证明系统能够通过在线观察实现复杂现实任务（如多模态人机对话）的自主在线学习。
• 通过内在的、反思性的和自催化的过程，为实现通用人工智能提供一种架构蓝图。

提出的方法

• 系统利用累积的经验对自身和环境进行建模，从而实现递归的自我反思与适应。
• 采用大量并行推理线程，每条线程代表一种潜在的动作或推理，由以价值为导向的调度器动态优先排序。
• 自我改进受到设计约束的限制，确保在递归优化过程中保持安全与稳定。
• 该架构整合了内生性（目标的内在生成）、反思性（自我建模）和自催化性（自我维持的改进循环）的原则。
• 通过实时观察人类互动，实现了一个原型系统，用于学习多模态对话行为。
• 系统采用动态优先级调度机制，根据预期价值和学习进度调整线程执行顺序。

实验结果

研究问题

• RQ1 人工智能系统如何在未充分指定的现实环境中实现递归自我改进，同时避免无界优化？
• RQ2 哪些架构原则能够实现自主系统中安全、有界且持续的自我改进？
• RQ3 以价值为导向的推理线程调度如何促进有效且高效的自我优化？
• RQ4 系统能否通过在线观察和自我建模学习复杂的实时人机交互任务？
• RQ5 内生性、反思性和自催化性在实现通用人工智能中发挥何种作用？

主要发现

• 该系统通过在线观察成功学习了与人类的实时多模态对话，展示了在复杂现实任务中实用的自我改进能力。
• 以价值为导向的动态优先级调度器实现了计算资源向最有前景推理线程的有效分配，加速了学习过程。
• 在预设的设计边界内实现了递归自我改进，确保了优化过程中的安全与稳定。
• 自我建模与反思性推理的整合使系统能够基于经验与内部评估调整其行为。
• 原型系统证明了在现实环境中实现有界递归自我改进的可行性，为通向通用人工智能提供了可行路径。
• 系统性能随时间持续提升，在实时交互中表现出可测量的对话质量与响应能力的改进。