[논문 리뷰] Rel-A.I.: An Interaction-Centered Approach To Measuring Human-LM Reliance

Kaitlyn Zhou, Jena D. Hwang외 4명|arXiv (Cornell University)|2024. 07. 10.

Complex Systems and Decision MakingDecision Sciences인용 수 3

한 줄 요약

이 논문은 인간이 언어 모델(LM)의 출력에 얼마나 의존하는지, 동적 상호작용 맥락 내에서 지식적 표시어(예: '내가 생각하기에...')를 분석함으로써 시스템 수준에서 실시간으로 평가하는 Rel-A.I.를 소개한다. 이는 이전 상호작용, 인격화 자극, 주제 분야와 같은 상호작용 요인이 의존도에 상당한 영향을 미치며, 동일한 표현에 대해 맥락에 따라 최대 20%의 의존도 빈도 차이를 초래함을 드러내며, 언어적 자신감만이 의존도를 이끄는 것으로 보는 가정을 도전한다.

ABSTRACT

The ability to communicate uncertainty, risk, and limitation is crucial for the safety of large language models. However, current evaluations of these abilities rely on simple calibration, asking whether the language generated by the model matches appropriate probabilities. Instead, evaluation of this aspect of LLM communication should focus on the behaviors of their human interlocutors: how much do they rely on what the LLM says? Here we introduce an interaction-centered evaluation framework called Rel-A.I. (pronounced "rely"}) that measures whether humans rely on LLM generations. We use this framework to study how reliance is affected by contextual features of the interaction (e.g, the knowledge domain that is being discussed), or the use of greetings communicating warmth or competence (e.g., "I'm happy to help!"). We find that contextual characteristics significantly affect human reliance behavior. For example, people rely 10% more on LMs when responding to questions involving calculations and rely 30% more on LMs that are perceived as more competent. Our results show that calibration and language quality alone are insufficient in evaluating the risks of human-LM interactions, and illustrate the need to consider features of the interactional context.

연구 동기 및 목표

• 언어적 자신감 외의 상호작용 맥락이 인간의 언어 모델 의존도에 어떻게 영향을 미치는지 이해하는 데에 격차를 메우기 위해.
• 실제 인간-LM 상호작용 중에 발생하는 실시간 의존 행동을 캡처할 수 있는 시스템 수준 평가 방법을 개발하기 위해.
• 이전 상호작용, 모델 성격(따뜻함), 주제 분야와 같은 요소들이 의존 결정에 어떻게 영향을 미치는지 조사하기 위해.
• 연구자와 개발자가 언어 모델의 대중 배포 이전에 의존도를 평가할 수 있는 구현 가능한 방법론을 제공하기 위해.
• 언어적 자신감만이 의존도를 결정한다는 가정을 도전하며, 인간-AI 상호작용에서 맥락적 요소와 관계적 요소의 중요성을 강조하기 위해.

제안 방법

• 사용자가 자연스럽고 다단계 상호작용을 통해 LM과 상호작용함으로써 실시간으로 의존도를 측정할 수 있도록 설계된 자기 유도형 작업 설계를 사용한다.
• LM이 생성한 응답 내에서 지식적 표시어(예: '내가 믿기로는', '아마도', '분명히')를 식별하고 추적하여 자신감과 불확실성을 대체 지표로 삼는다.
• 메타 수준의 인식 질문을 통합하여 사용자가 AI 에이전트의 따뜻함과 능력을 어떻게 인식하는지 측정함으로써 인격화 영향을 포착한다.
• 장기적 상호작용, 인격화 생성, 다양한 주제 분야의 세 가지 상호작용 설정에서 의존도를 평가한다.
• 사용자가 자신의 응답에서 LM이 생성한 지식적 표시어를 수용하거나 반복하는 빈도로 의존도를 측정한다.
• 후행적 자기 보고나 합성된 자신감 주석에 의존하지 않고, 현장에서 실시간으로 시스템 수준의 의존도를 측정할 수 있는 프레임워크를 제공한다.

실험 결과

연구 질문

• RQ1 언어 모델과의 이전 상호작용이, 자신감 수준이 변할 때에도 인간의 출력에 대한 의존도에 어떻게 영향을 미치는가?
• RQ2 언어 모델의 따뜻함이나 인격화된 성격이 인간의 응답에 대한 의존도에 어느 정도의 영향을 미치는가?
• RQ3 대화의 주제 분야(예: 철학, 법, 종교)가 LM이 생성한 지식적 표시어에 대한 의존도에 어떻게 영향을 미치는가?
• RQ4 동일한 중간 수준 자신감 표현(예: '내가 꽤 확신하는 바이지만...')이 상호작용 맥락에 따라 다른 의존도 빈도를 보이는가?
• RQ5 모델 일관성과 인식된 성격과 같은 맥락적 특성이 언어적 자신감과 어떻게 상호작용하여 의존 행동을 형성하는가?

주요 결과

• 동일한 지식적 표현에 대해 이전 상호작용 맥락(예: 모델의 이전 행동)에 따라 의존도가 최대 20%까지 변동한다.
• 일반적으로 매우 자신감 있는 모델이 생성한 중간 수준 자신감 표현('내가 꽤 확신하는 바이지만...')은 일반적으로 불확실한 성향을 띤 모델이 생성한 경우보다 의존도가 유의미하게 낮다.
• 예를 들어 '내가 도와줄 수 있어요!'와 같은 인격화 자극은 자신감 수준이 동일한 경우에도 동일한 사실적 진술에 대해 의존도를 유의미하게 증가시킨다.
• 주제 분야가 의존도에 상당한 영향을 미치며, 철학이나 종교 분야에서는 수학과 같은 계산이 복잡한 분야보다 더 높은 의존도가 관찰된다.
• AI 에이전트의 따뜻함과 능력에 대한 인식은 언어적 자신감이 동일한 경우에도 별개로 의존도에 영향을 미친다.
• 언어적 자신감만으로는 의존도를 예측할 수 없으며, 과거 기록, 성격, 주제 등 상호작용 맥락을 인간-LM 의존도 모델에 포함시켜야 한다.