[논문 리뷰] Leveraging Large Language Models to Power Chatbots for Collecting User Self-Reported Data

Jing Wei, Sungdong Kim외 2명|arXiv (Cornell University)|2023. 01. 14.

AI in Service Interactions참고 문헌 85인용 수 15

한 줄 요약

이 논문은 GPT-3 기반 채팅봇의 제로샷 프롬프트가 자가보고 건강 데이터를 수집하는 방법을 연구하며, 프롬프트 구조와 성격 단서가 데이터 수집 및 대화 스타일에 미치는 영향을 평가한다.

ABSTRACT

Large language models (LLMs) provide a new way to build chatbots by accepting natural language prompts. Yet, it is unclear how to design prompts to power chatbots to carry on naturalistic conversations while pursuing a given goal, such as collecting self-report data from users. We explore what design factors of prompts can help steer chatbots to talk naturally and collect data reliably. To this aim, we formulated four prompt designs with different structures and personas. Through an online study (N = 48) where participants conversed with chatbots driven by different designs of prompts, we assessed how prompt designs and conversation topics affected the conversation flows and users' perceptions of chatbots. Our chatbots covered 79% of the desired information slots during conversations, and the designs of prompts and topics significantly influenced the conversation flows and the data collection performance. We discuss the opportunities and challenges of building chatbots with LLMs.

연구 동기 및 목표

• 건강 주제 전반에 걸쳐 사용자의 자가 보고 데이터를 수집하기 위한 LLM 추진 채봇에 프롬프트 디자인 요소가 미치는 영향 연구.
• 미세 조정 없이 GPT-3로 구동되는 채봇의 슬롯 채우기 성능 및 대화 스타일 평가.
• LLM 기반 채봇과의 강건하고 자연스러운 상호작용 및 데이터 수집을 위한 설계 지침 식별.

제안 방법

• 구조화된 정보-슬롯 프롬프트를 가진 16개의 GPT-3 구동 채봇을 구현(주제 4개 × 형식 2개 × 성격 2개)
• uniform 제너레이션 파라미터로 davinci-text-002를 사용(온도 0.9, 존재 페널티 0.6, 빈도 페널티 0.5).
• 웹 기반 채팅 인터페이스를 제공하고 네 가지 건강 주제에 걸쳐 참가자 간 온라인 연구(N=48)를 수행.
• 사전에 정의된 정보 슬롯이 획득되었는지 여부를 수동으로 코딩하여 슬롯 채우기 평가.
• 대화 흐름과 채봇 동작을 특징짓기 위해 대화 행위를 코딩.
• 참가자 종료 설문을 분석해 채봇의 공감 및 이해도 평가.

Figure 1 . An overview of our chatbot running on a large language model through zero-shot response generation, with only a prefix \footnotesize{A}⃝ consisting of persona modifier and information format and the ongoing dialogue history \footnotesize{B}⃝ . The example conversation is carried on about

실험 결과

연구 질문

• RQ1 정보 형식과 성격 수정 프롬프트가 LLM 기반 채봇의 슬롯 채우기 성능에 어떤 영향을 미치는가?
• RQ2 GPT-3 구동 채봇이 자가 보고 데이터 수집 대화에서 맥락을 유지하고 공감을 나타내는가?
• RQ3 프롬프트 디자인이 작업 지향적 대화 상호작용에서 대화 흐름과 사용자 인식에 미치는 영향은 무엇인가?

주요 결과

• 제로샷 프롬프트를 사용한 대화에서 채봇이 원하는 정보 슬롯의 79%를 커버했다.
• 프롬프트 디자인 요소(정보 형식 및 성격 수정)가 대화 흐름과 데이터 수집 성능에 유의하게 영향을 미쳤다.
• 채봇은 일반적으로 공감적으로 응답했고, 참가자들은 때때로 응답의 높은 정확성과 유용성을 지각했다.
• 본 연구는 미세조정 없이 자가 보고를 수집하고 맥락과 상태 추적을 유지하는 LLM 기반 채봇의 가능성을 입증한다.
• 두 가지 프롬프트 디자인 요소의 체계적인 검토가 LLM을 활용한 도메인 특정 제로샷 채봇 설계에 대한 시사점을 제공한다.

Figure 2 . Prompt design combining two factors, information format and personality modifier, in the Food intake topic.