[论文解读] Investigating Agency of LLMs in Human-AI Collaboration Tasks

Ashish Sharma, Sudha Rao+4 more|arXiv (Cornell University)|May 22, 2023

Speech and dialogue systems被引用 4

一句话总结

本文提出了一套框架，用于在人机协作中衡量和控制大语言模型（LLMs）的自主性，其理论基础为社会认知理论。该研究识别出四种自主性特征——意图性（Intentionality）、动机（Motivation）、自我效能感（Self-Efficacy）和自我调节（Self-Regulation）——并引入了一个包含83段人与人之间室内设计对话的新数据集（共908个对话片段），并对这些特征进行了标注。结果表明，在自动评估和人工评估中，表现出高水平这些特征的模型均被显著感知为更具自主性。

ABSTRACT

Agency, the capacity to proactively shape events, is central to how humans interact and collaborate. While LLMs are being developed to simulate human behavior and serve as human-like agents, little attention has been given to the Agency that these models should possess in order to proactively manage the direction of interaction and collaboration. In this paper, we investigate Agency as a desirable function of LLMs, and how it can be measured and managed. We build on social-cognitive theory to develop a framework of features through which Agency is expressed in dialogue - indicating what you intend to do (Intentionality), motivating your intentions (Motivation), having self-belief in intentions (Self-Efficacy), and being able to self-adjust (Self-Regulation). We collect a new dataset of 83 human-human collaborative interior design conversations containing 908 conversational snippets annotated for Agency features. Using this dataset, we develop methods for measuring Agency of LLMs. Automatic and human evaluations show that models that manifest features associated with high Intentionality, Motivation, Self-Efficacy, and Self-Regulation are more likely to be perceived as strongly agentive.

研究动机与目标

• 研究在人机协作过程中，如何有意义地表达和衡量大语言模型的自主性。
• 基于社会认知理论，构建一个理论驱动的自主性特征框架。
• 收集并标注一个用于自主性分析的新数据集，包含人与人之间协作的室内设计对话。
• 评估大语言模型在表达自主性特征方面的能力，以及这些表达如何影响人们对自主性的感知。
• 实现对话系统中自主性水平的可控与可测量，以提升人机协作效果。

提出的方法

• 基于班杜拉的社会认知理论，作者定义了自主性的四个核心特征：意图性（表达偏好）、动机（为意图提供理由）、自我效能感（表达对自身判断的信心）和自我调节（根据反馈进行调整）。
• 作者收集了83段人与人之间协作的室内设计对话，共包含908个对话片段，并对每个片段标注了四种自主性特征。
• 他们开发了基于微调大语言模型的自动测量方法，用于从对话回合中预测自主性特征的表达。
• 提出了两项新的评估任务：（1）对话中的自主性测量，以及（2）具有自主性的对话生成，以评估模型表现。
• 通过人工评估验证了自动测量结果，并评估了不同自主性特征水平下人们对模型自主性的感知。
• 该框架通过自动指标和人工判断进行了评估，结果显示表达出的自主性特征与感知到的自主性之间存在强相关性。

实验结果

研究问题

• RQ1 如何在基于对话的人机协作中系统性地定义和衡量大语言模型的自主性？
• RQ2 意图性、动机、自我效能感和自我调节的表达在多大程度上影响人们对大语言模型自主性的感知？
• RQ3 自动方法能否可靠地检测并量化对话片段中的自主性特征？
• RQ4 不同水平的自主性表达如何影响人类对大语言模型作为主动合作者的感知？
• RQ5 能否设计出能够根据上下文和用户偏好动态调节其自主性的对话系统？

主要发现

• 在自动评估和人工评估中，表达高水平意图性、动机、自我效能感和自我调节的模型均被一致认为更具自主性。
• 意图性被发现是对话协作中感知自主性的最强预测因子，显著影响整体自主性感知。
• 人工评估结果证实，自我信念（自我效能感）和适应性行为（自我调节）等特征对大语言模型感知到的主动性具有实质性贡献。
• 所提出的自动测量方法与人工判断高度一致，表明其在大规模自主性评估中的可行性。
• 该数据集和框架可扩展至其他领域，因为诸如“我更倾向于”这类核心自主性特征具有领域无关性且可迁移。
• 本研究表明，大语言模型的自主性并非被动特质，而是可以通过主动控制和调节来优化，从而实现更优质的人机协作。