[论文解读] A Cyber Science Based Ontology for Artificial General Intelligence Containment

Jason M. Pittman, Courtney E. Soboleski|arXiv (Cornell University)|Jan 28, 2018

Scientific Computing and Data Management参考文献 36被引用 3

一句话总结

本文提出了一种基于网络科学的本体论，以形式化人工通用智能（AGI）的约束机制，将AGI、人类和网络世界等核心要素结构化为一个五级框架，包含32个描述符。其主要贡献在于为未来的AGI约束研究提供了系统化、科学严谨的基础，解决了概念清晰度、语境框架和方法论严谨性方面的空白。

ABSTRACT

The development of artificial general intelligence is considered by many to be inevitable. What such intelligence does after becoming aware is not so certain. To that end, research suggests that the likelihood of artificial general intelligence becoming hostile to humans is significant enough to warrant inquiry into methods to limit such potential. Thus, containment of artificial general intelligence is a timely and meaningful research topic. While there is limited research exploring possible containment strategies, such work is bounded by the underlying field the strategies draw upon. Accordingly, we set out to construct an ontology to describe necessary elements in any future containment technology. Using existing academic literature, we developed a single domain ontology containing five levels, 32 codes, and 32 associated descriptors. Further, we constructed ontology diagrams to demonstrate intended relationships. We then identified humans, AGI, and the cyber world as novel agent objects necessary for future containment activities. Collectively, the work addresses three critical gaps: (a) identifying and arranging fundamental constructs; (b) situating AGI containment within cyber science; and (c) developing scientific rigor within the field.

研究动机与目标

• 解决当前AGI约束缺乏系统性概念框架的问题，因为其目前依赖于临时的网络安全技术。
• 建立一个基于网络科学的正式本体论，以结构化AGI约束的基本构成。
• 将AGI约束置于更广泛、动态的网络世界中，而非简单的“人类对AGI”二元对立框架。
• 提供一个可复现、公理化的基础，以促进AGI安全研究中的科学探究与共识理解。
• 弥合当前阻碍AGI约束研究进展的科学严谨性与概念清晰度方面的差距。

提出的方法

• 开发了一个单领域本体论，包含五个层级、32个原子编码及其对应的32个描述符，均源自学术文献。
• 定义了三种新型代理对象：人类、AGI和网络世界，作为约束关系中的核心实体。
• 使用正式的图示结构建模关系（R）、子属性（S）和特征（F），以表示约束的动力学。
• 应用网络科学原则——特别是Kott（2015）关于恶意软件与意图的框架——将AGI和约束重新构架为活跃的、相互作用的代理。
• 将约束形式化为网络世界中代理之间的主动、动态关系，区分由AGI发起的攻击与由人类/防御者发起的防御。
• 引入一个功能模型：f(c) = k 表示约束平衡状态，f(c) = k+1 表示攻击，其中启动与意图作为攻击的双重特征。

实验结果

研究问题

• RQ1 如何构建一个正式本体论，以系统化AGI约束的基本构成？
• RQ2 将AGI约束置于网络科学框架中，如何提升概念清晰度与研究严谨性？
• RQ3 在动态网络世界中，定义AGI约束所必需的代理对象与关系是什么？
• RQ4 在AGI约束中，如何正式区分攻击与防御，特别是从启动与意图的角度？
• RQ5 基于网络科学的本体论能否推动从二元对立、对抗性模型向更细致、科学基础更扎实的约束策略转变？

主要发现

• 本研究成功构建了一个五级本体论，包含32个描述符，为AGI约束研究提供了形式化、结构化的框架。
• 本体论识别出三个核心代理对象——人类、AGI和网络世界——作为建模约束动力学的关键要素。
• 约束被形式化为网络世界中的一种主动、动态关系，而非静态或二元状态，且攻击与防御具有明确角色区分。
• 攻击被定义为两个同时具备的特征：启动（代理发起的动作）与意图（预先准备或响应性），而防御始终是被动且单一启动的。
• 模型 f(c) = k 表示约束平衡状态，而 f(c) = k+1 将攻击建模为对平衡的偏离，从而实现对约束失效的正式分析。
• 本体论使研究能够从临时的网络安全方法，转向一种科学基础更扎实、可复现的未来AGI约束研究框架。