[论文解读] Conceptualization and Framework of Hybrid Intelligence Systems

Nikhil Prakash, Kory W. Mathewson|arXiv (Cornell University)|Dec 11, 2020

Mobile Crowdsensing and Crowdsourcing参考文献 19被引用 5

一句话总结

本文提出了混合智能系统（HIS）的明确定义与新型框架，将其定位为整合人类与机器智能的AI系统的超集。该框架基于耦合程度与指令权威性对HIS进行分类，主张所有AI系统本质上均为混合智能系统，必须在整个生命周期中嵌入人类因素，以确保公平性、问责性与透明度。

ABSTRACT

As artificial intelligence (AI) systems are getting ubiquitous within our society, issues related to its fairness, accountability, and transparency are increasing rapidly. As a result, researchers are integrating humans with AI systems to build robust and reliable hybrid intelligence systems. However, a proper conceptualization of these systems does not underpin this rapid growth. This article provides a precise definition of hybrid intelligence systems as well as explains its relation with other similar concepts through our proposed framework and examples from contemporary literature. The framework breakdowns the relationship between a human and a machine in terms of the degree of coupling and the directive authority of each party. Finally, we argue that all AI systems are hybrid intelligence systems, so human factors need to be examined at every stage of such systems' lifecycle.

研究动机与目标

• 解决尽管混合智能系统（HIS）在现实AI应用中日益普及，但其概念仍缺乏清晰界定的问题。
• 对HIS进行精确界定，并将其与交互式机器学习、AI增强系统及混合主导交互等概念区分开来。
• 建立一个统一框架，基于人机耦合程度与指令权威性，对现有及新兴的HIS进行分类。
• 论证所有AI系统本质上均为混合智能系统，因此必须在系统生命周期的每个阶段都整合人类因素。
• 通过鼓励从业者在系统开发中优先考虑公平性、问责性、透明度与伦理，推动AI的人本设计。

提出的方法

• 提出混合智能系统的正式定义：通过持续学习与相互适应，结合人类与机器智能以实现更优结果的系统。
• 提出一个二维框架，基于人机组件之间耦合程度（松散至紧密）与指令权威性（人类主导或机器主导）。
• 利用该框架对Teachable Machine、Mechanical Turk与Heteroglossia等知名系统进行分类与比较。
• 采用Albus对智能的定义——在不确定环境中采取适当行动以支持最终目标的子目标——作为概念化的基础。
• 通过该框架分析现有系统，以证明其在组织与分类HIS方面的实用性。
• 主张自洽的AI系统仅在由先前的混合系统创建时才属于HIS子集；但一旦在无任何人类输入下运行，便不再属于混合系统。

实验结果

研究问题

• RQ1 何为混合智能系统？它与交互式机器学习、AI增强系统等概念有何区别？
• RQ2 如何基于耦合度与指令权威性，系统性地对人类与机器智能之间的关系进行分类？
• RQ3 所有AI系统在多大程度上本质上是混合智能系统？这对系统设计意味着什么？
• RQ4 所提出的框架在实践中如何提升智能系统的分类、设计与治理水平？
• RQ5 人类因素在整个AI系统生命周期中扮演何种角色？为何必须在每个阶段都嵌入人类因素？

主要发现

• 所提框架能有效基于耦合度与指令权威性对Teachable Machine与Heteroglossia等现有系统进行分类，证明其实际应用价值。
• 本文确立了混合智能系统是其他AI范式的超集，包括交互式机器学习与混合主导交互系统。
• 所有AI系统本质上均为混合智能系统，因为在开发、训练或部署阶段均涉及人类输入，即使运行时人类未主动参与。
• 该框架揭示，若无机器智能参与，则Mechanical Turk仅为人机计算系统；否则即为混合智能系统。
• 研究表明，人类与机器之间的持续学习并非系统被归类为混合系统的必要条件，挑战了先前的定义。
• 本文结论指出，必须在系统生命周期的每个阶段审视人类因素，以确保公平性、问责性、透明度与伦理化部署。