[论文解读] Augmented Artificial Intelligence: a Conceptual Framework

Alexander N. Gorban, Bogdan Grechuk+1 more|arXiv (Cornell University)|Feb 6, 2018

Neural Networks and Reservoir Computing参考文献 24被引用 12

一句话总结

本文提出了一种增强型人工智能的概念框架，利用人工智能系统群体实现对遗留人工智能模型中错误的快速、非破坏性修正。通过利用高维随机分离定理，线性分类器（例如费雪判别分析）能够以高概率高效地隔离并修正错误，即使在复杂且非独立同分布的数据分布中亦然，从而实现可扩展、可逆且无需人工专家参与的系统改进。

ABSTRACT

All artificial Intelligence (AI) systems make errors. These errors are unexpected, and differ often from the typical human mistakes ("non-human" errors). The AI errors should be corrected without damage of existing skills and, hopefully, avoiding direct human expertise. This paper presents an initial summary report of project taking new and systematic approach to improving the intellectual effectiveness of the individual AI by communities of AIs. We combine some ideas of learning in heterogeneous multiagent systems with new and original mathematical approaches for non-iterative corrections of errors of legacy AI systems. The mathematical foundations of AI non-destructive correction are presented and a series of new stochastic separation theorems is proven. These theorems provide a new instrument for the development, analysis, and assessment of machine learning methods and algorithms in high dimension. They demonstrate that in high dimensions and even for exponentially large samples, linear classifiers in their classical Fisher's form are powerful enough to separate errors from correct responses with high probability and to provide efficient solution to the non-destructive corrector problem. In particular, we prove some hypotheses formulated in our paper `Stochastic Separation Theorems' (Neural Networks, 94, 255--259, 2017), and answer one general problem published by Donoho and Tanner in 2009.

研究动机与目标

• 解决在不重新训练或损害现有能力的前提下，对已部署人工智能系统中的错误进行修正这一关键挑战。
• 开发一种可扩展、非迭代且可逆的方法，用于在大规模人工智能系统处理大数据时进行错误修正。
• 通过使人工智能系统群体自主检测、修正并传递错误知识，最大限度减少人工参与人工智能维护。
• 建立基于测度集中与随机分离定理的高维数据中错误修正的理论基础。
• 证明线性分类器在高维空间中分离错误响应与正确响应的可行性与鲁棒性。

提出的方法

• 利用随机分离定理证明：在高维空间中，随机点与数据集中其余点以高概率线性可分。
• 在高维空间中应用费雪线性判别分析，非破坏性地识别并修正遗留人工智能系统中的错误预测。
• 采用独立线性判别器的级联架构，以提高错误修正的效率与鲁棒性。
• 将聚类分析与随机分离相结合：先将数据划分为聚类，再在每个聚类内应用线性分离，以提升性能。
• 设计基于群体的人工智能框架，使人工智能系统通过问题路由、知识传递与审计系统协作，以维护系统完整性。
• 通过模拟数据与工业合作下的真实视频流数据进行验证，证明了该方法的实际可行性。

实验结果

研究问题

• RQ1 在线性分类器处于高维空间时，能否在遗留人工智能系统中可靠地将错误预测与正确预测分离？
• RQ2 随机分离定理在多大程度上能够实现无需人工干预的非迭代、非破坏性人工智能错误修正？
• RQ3 高维数据中的“维度之福”如何使修正机制相较于低维方法更简单、更高效？
• RQ4 数据中的聚类结构对随机分离在错误修正中的有效性有何影响？
• RQ5 所提出的框架能否处理典型真实世界人工智能工作负载中常见的通用非独立同分布数据分布？

主要发现

• 随机分离定理证明：在高维空间中，即使数据集呈指数级规模，其随机点与其余点仍以高概率线性可分，从而实现高效的错误修正。
• 将单个错误点与正确响应分离的失败概率受样本大小、维度与置信参数的表达式约束，且随维度增加而迅速衰减。
• 线性费雪判别分析在高维数据中对错误修正极为有效，实际表现优于更复杂的非线性方法。
• 独立线性判别器的级联结构相比单一分类器展现出更优的性能与鲁棒性。
• 将聚类分析与随机分离结合，当数据表现出明显聚类结构时，可显著提升修正准确率。
• 该框架在工业部署的真实视频流数据中成功修正了错误，证实了其实际可行性与可扩展性。