[论文解读] Effective Human-AI Teams via Learned Natural Language Rules and Onboarding

Hussein Mozannar, Jimin J Lee+4 more|arXiv (Cornell University)|Nov 2, 2023

Topic Modeling被引用 4

一句话总结

该论文提出 IntegrAI，一种通过嵌入空间中数据区域的自然语言描述来学习人机协作规则的框架，这些区域指示人类应在何时依赖、忽略或与AI协作。通过以这些规则进行引导，人机协作团队在目标检测任务中的准确率提升了5.2%；而在问答任务中，仅靠AI推荐则无效，原因在于人类与AI之间存在较高的性能差距，且已有大型语言模型（LLM）提供的解释。

ABSTRACT

People are relying on AI agents to assist them with various tasks. The human must know when to rely on the agent, collaborate with the agent, or ignore its suggestions. In this work, we propose to learn rules, grounded in data regions and described in natural language, that illustrate how the human should collaborate with the AI. Our novel region discovery algorithm finds local regions in the data as neighborhoods in an embedding space where prior human behavior should be corrected. Each region is then described using a large language model in an iterative and contrastive procedure. We then teach these rules to the human via an onboarding stage. Through user studies on object detection and question-answering tasks, we show that our method can lead to more accurate human-AI teams. We also evaluate our region discovery and description algorithms separately.

研究动机与目标

• 为解决人类与AI协作不佳的问题，即人类因对AI的信任不准确而表现欠佳。
• 开发一种方法，学习特定任务下可解释的规则，以明确人类应在何时依赖、忽略或与AI协作。
• 通过使用自然语言教学这些规则的引导流程，提升人机协作团队的表现。
• 评估通过学习到的规则进行引导，是否比仅依赖AI推荐更能提升人机协作效果。
• 探究人机协作表现卡在协作过程中对决策支持的作用。

提出的方法

• 该方法使用一种新颖的区域发现算法，识别多模态嵌入空间（如图像使用CLIP，NLP任务使用文本嵌入）中人类决策与最优AI整合方式存在偏差的局部邻域。
• 每个发现的区域通过对比性、迭代式过程进行描述：首先，由大语言模型（LLM）总结区域内的特征点；随后，通过嵌入搜索检索相似与不相似的示例，以优化描述。
• 最终规则为对区域的自然语言描述，并标注正确的AI整合行为（依赖、忽略、协作）。
• 引导阶段通过结构化界面向用户传授这些规则，校准其预期并改善决策行为。
• 引导完成后，在仪表板中展示AI整合推荐，以测试其对性能的影响。
• 通过在目标检测和MMLU问答任务上的用户研究评估性能，以人机协作团队准确率为首要指标。

实验结果

研究问题

• RQ1 能否通过学习嵌入空间中数据区域的自然语言规则，提升人机协作团队的准确率？
• RQ2 与仅依赖AI解释或推荐相比，通过学习到的规则进行引导是否能带来更优的AI整合决策？
• RQ3 该区域发现算法在现实任务中识别出有意义且与行为相关区域的能力如何？
• RQ4 基于大语言模型（LLM）的对比性描述在多大程度上提升了所学规则的可解释性与实用性？
• RQ5 为何在某些任务（如目标检测）中引导能提升表现，而在其他任务（如MMLU）中无效，尽管人类与AI的准确率均很高？

主要发现

• 在包含噪声交通灯图像的目标检测任务中，与无引导相比，使用IntegrAI规则进行引导使人机协作团队准确率提升了5.2%。
• 在MMLU问答任务中，引导对性能无显著影响，可能是因为人类与AI之间存在较大的性能差距，且已有GPT-3.5提供的解释。
• 在MMLU任务中，引导后展示AI整合推荐反而对性能产生负面影响，表明当已有解释时，推荐可能无效。
• 与基线相比，引导组参与者对AI的依赖度提高了9%，表明引导成功改变了用户行为与信任校准。
• 区域发现算法成功识别出数据空间中人类决策表现不佳的有意义局部区域，尤其在复杂的视觉任务中表现显著。
• 基于对比性LLM的描述过程生成了捕捉关键决策因素（如图像清晰度、不确定性）的自然语言规则，提升了可解释性。