[论文解读] A Survey on Human-AI Collaboration with Large Foundation Models

Vanshika Vats, Marzia Binta Nizam+21 more|arXiv (Cornell University)|Mar 7, 2024

Scientific Computing and Data Management被引用 12

一句话总结

本综述评估大型预训练模型（LPtMs）如何增强人机协作，涵盖模型改进、联合系统、安全以及跨行业的应用。它综合了方法、挑战以及实现伦理、有效协作的未来方向。

ABSTRACT

As the capabilities of artificial intelligence (AI) continue to expand rapidly, Human-AI (HAI) Collaboration, combining human intellect and AI systems, has become pivotal for advancing problem-solving and decision-making processes. The advent of Large Foundation Models (LFMs) has greatly expanded its potential, offering unprecedented capabilities by leveraging vast amounts of data to understand and predict complex patterns. At the same time, realizing this potential responsibly requires addressing persistent challenges related to safety, fairness, and control. This paper reviews the crucial integration of LFMs with HAI, highlighting both opportunities and risks. We structure our analysis around four areas: human-guided model development, collaborative design principles, ethical and governance frameworks, and applications in high-stakes domains. Our review shows that successful HAI systems are not the automatic result of stronger models but the product of careful, human-centered design. By identifying key open challenges, this survey aims to give insight into current and future research that turns the raw power of LFMs into partnerships that are reliable, trustworthy, and beneficial to society.

研究动机与目标

• 评估LPtMs如何改变跨行业的人机协作。
• 识别将人类输入整合到LPtM训练与评估中的方法。
• 审查由LPtMs支持的HAI系统中的设计、安全性和信任问题。
• 绘制LPtM驱动的HAI在医疗、交通、教育等领域的应用图景。

提出的方法

• 通过四个聚焦领域对含有LPtMs的人机协作文献进行综述：模型改进、有效的HAI系统、安全与可信AI，以及应用。
• 围绕传统HITL方法（Human in the Loop、Active Learning、RLHF、Human Evaluation）组织发现。
• 对LPtMs支撑的HAI的UI/UX与系统设计考虑因素进行分类。
• 参考大量被引工作以说明LPtM驱动的HAI的趋势与挑战。
• 采用双人/AI协同起草过程（作者与AI辅助）来构建综述。

(a)

实验结果

研究问题

• RQ1 LPtMs如何改变人机协作中的模型训练、评估和部署？
• RQ2 在LPtM驱动的HAI系统中，信任、安全、偏见、隐私、治理等关键挑战是什么，以及如何缓解？
• RQ3 哪些UI/UX和系统架构最能支持高效、有效且具伦理性的HAI协作？
• RQ4 哪些领域特定的应用展示了LPtM驱动的HAI协作的影响与局限性？

主要发现

• LPtMs显著提升HAI团队的适应性、个性化和对话能力。
• RLHF、InstructRL及相关反馈方法是使LPtM与人类偏好对齐、减少偏见的核心，尽管在扩展性和一致性方面仍存在挑战。
• 改进的UI/UX、人类引导与AI的结合、以及健全的评估框架对于HAI系统的信任与有效性至关重要。
• 应用涵盖医疗、自动驾驶、教育、游戏、无障碍以及监控，展示了广泛的社会影响与部署考量。
• 伦理、法律与政策维度（隐私、问责、劳动影响、公平性）是负责任采用LPtM驱动的HAI的不可或缺的一部分。

(b)