[논문 리뷰] Investigating Agency of LLMs in Human-AI Collaboration Tasks

Ashish Sharma, Sudha Rao외 4명|arXiv (Cornell University)|2023. 05. 22.

Speech and dialogue systems인용 수 4

한 줄 요약

이 논문은 사회인지 이론을 바탕으로 인간-AI 협업 중 대규모 언어 모델(Large Language Models, LLMs)의 기민성(agency)을 측정하고 제어하기 위한 프레임워크를 제안한다. 연구는 기민성의 네 가지 특징—의도성(Intentionality), 동기(Motivation), 자기효능감(Self-Efficacy), 자기조절(Self-Regulation)—를 식별하고, 이 특징들을 포함한 83개의 인간 간 인테리어 디자인 대화(총 908개 스플릿)로 구성된 새로운 데이터셋을 구축·주석 처리했다. 결과적으로, 이러한 특징을 높이게 표현하는 모델은 자동 평가와 인간 평가 모두에서 상당히 더 높은 기민성 수준을 갖춘 것으로 평가되었다.

ABSTRACT

Agency, the capacity to proactively shape events, is central to how humans interact and collaborate. While LLMs are being developed to simulate human behavior and serve as human-like agents, little attention has been given to the Agency that these models should possess in order to proactively manage the direction of interaction and collaboration. In this paper, we investigate Agency as a desirable function of LLMs, and how it can be measured and managed. We build on social-cognitive theory to develop a framework of features through which Agency is expressed in dialogue - indicating what you intend to do (Intentionality), motivating your intentions (Motivation), having self-belief in intentions (Self-Efficacy), and being able to self-adjust (Self-Regulation). We collect a new dataset of 83 human-human collaborative interior design conversations containing 908 conversational snippets annotated for Agency features. Using this dataset, we develop methods for measuring Agency of LLMs. Automatic and human evaluations show that models that manifest features associated with high Intentionality, Motivation, Self-Efficacy, and Self-Regulation are more likely to be perceived as strongly agentive.

연구 동기 및 목표

• 인간-AI 협업 중 기민성이 의미 있게 표현되고 측정될 수 있는 방법을 탐구하는 것.
• 사회인지 이론을 기반으로 한 기민성 특징 이론 기반의 프레임워크를 개발하는 것.
• 기민성 분석을 위한 인간 간 협업 인테리어 디자인 대화의 새로운 데이터셋을 수집하고 주석 처리하는 것.
• LLM이 기민성 특징을 얼마나 잘 표현하는지, 그리고 이러한 표현이 기민성 인식에 어떤 영향을 미치는지 평가하는 것.
• 대화 시스템에서 기민성 수준을 제어하고 측정할 수 있도록 하여 인간-AI 협업을 향상시키는 것.

제안 방법

• 밴더아의 사회인지 이론을 기반으로, 기민성의 핵심 특징 네 가지를 정의한다: 의도성(선호 표현), 동기(의도의 정당화), 자기효능감(판단에 대한 신념 강조), 자기조절(피드백에 기반한 적응).
• 연구자들은 총 908개의 대화 스플릿을 포함한 83개의 인간 간 협업 인테리어 디자인 대화를 수집하고, 각 스플릿에 대해 네 가지 기민성 특징을 주석 처리했다.
• 대화 턴에서 기민성 특징 표현을 예측하기 위해 미세튜닝된 LLM을 사용한 자동 측정 방법을 개발했다.
• 두 가지 새로운 평가 과제를 도입했다: (1) 대화 내 기민성 측정, (2) 기민성 표현을 포함한 대화 생성. 이를 통해 모델 성능을 평가했다.
• 자동 측정 결과를 검증하고, 다양한 기민성 특징 수준에서의 기민성 인식을 평가하기 위해 인간 평가를 실시했다.
• 자동 메트릭과 인간 판단을 모두 활용하여 프레임워크를 평가하였으며, 표현된 기민성 특징과 기민성 인식 간 강한 상관관계를 확인했다.

실험 결과

연구 질문

• RQ1 대화 기반 인간-AI 협업에서 LLM의 기민성은 어떻게 체계적으로 정의되고 측정될 수 있는가?
• RQ2 의도성, 동기, 자기효능감, 자기조절의 표현 수준이 LLM의 기민성 인식에 어느 정도 영향을 미치는가?
• RQ3 자동 방법이 대화 턴 내 기민성 특징을 신뢰성 있게 탐지하고 정량화할 수 있는가?
• RQ4 기민성 표현 수준이 인간이 LLM을 능동적인 협업자로 인식하는 데 어떤 영향을 미치는가?
• RQ5 대화 시스템은 맥락과 사용자 선호도에 따라 기민성을 동적으로 조절할 수 있도록 설계될 수 있는가?

주요 결과

• 의도성, 동기, 자기효능감, 자기조절을 높이게 표현하는 모델은 자동 평가와 인간 평가 모두에서 지속적으로 더 높은 기민성 수준을 갖춘 것으로 평가되었다.
• 의도성이 협업 대화에서 기민성 인식의 가장 강력한 예측 요소로 확인되었으며, 전체 기민성 인식에 상당한 영향을 미쳤다.
• 인간 평가 결과, 자기효능감(자기신뢰)과 자기조절(적응 행동)과 같은 기민성 특징이 LLM의 능동성 인식에 의미 있는 기여를 한다는 것이 확인되었다.
• 제안된 자동 측정 방법은 인간 판단과 강한 일치를 보였으며, 기민성 평가의 스케일러블한 가능성을 시사했다.
• 데이터셋과 프레임워크는 인테리어 디자인 외의 분야로도 확장 가능하며, '나는 선호한다'와 같은 핵심 기민성 특징은 도메인에 관계없이 이식 가능하다.
• 본 연구는 LLM의 기민성이 수동적인 특성만이 아니라, 인간-AI 협업을 향상시키기 위해 능동적으로 제어하고 조절할 수 있음을 입증했다.