[논문 리뷰] Thinking Assistants: LLM-Based Conversational Assistants that Help Users Think By Asking rather than Answering

Soya Park, Subramonyam, Hari외 1명|arXiv (Cornell University)|2023. 12. 10.

AI in Service Interactions인용 수 4

한 줄 요약

이 논문은 직접적인 답변 대신 탐구적 질문을 통해 사용자의 깊이 있는 반성을 유도하는 LLM 기반 대화형 에이전트인 *Thinking Assistants*를 소개한다. 시스템 * Sys* 는 개인화된 멘토와 같은 대화를 통해 향후 대학원생들이 연구 관심사를 다듬도록 지원하며, 연구 관심사에 대해 논의할 경우 교수에 대해 묻는 것보다 두 배 이상 오랜 시간 참여하고 65%의 사용자 만족도를 기록했다.

ABSTRACT

Many AI systems focus solely on providing solutions or explaining outcomes. However, complex tasks like research and strategic thinking often benefit from a more comprehensive approach to augmenting the thinking process rather than passively getting information. We introduce the concept of "Thinking Assistant", a new genre of assistants that help users improve decision-making with a combination of asking reflection questions based on expert knowledge. Through our lab study (N=80), these Large Language Model (LLM) based Thinking Assistants were better able to guide users to make important decisions, compared with conversational agents that only asked questions, provided advice, or neither. Based on the results, we develop a Thinking Assistant in academic career development, determining research trajectory or developing one's unique research identity, which requires deliberation, reflection and experts' advice accordingly. In a longitudinal deployment with 223 conversations, participants responded positively to approximately 65% of the responses. Our work proposes directions for developing more effective LLM agents. Rather than adhering to the prevailing authoritative approach of generating definitive answers, LLM agents aimed at assisting with cognitive enhancement should prioritize fostering reflection. They should initially provide responses designed to prompt thoughtful consideration through inquiring, followed by offering advice only after gaining a deeper understanding of the user's context and needs.

연구 동기 및 목표

• 멘토링이 자주 이용 가능하지 않거나 압박감을 느낄 수 있는 고위험 결정, 예를 들어 대학원 지원과 같은 상황에서의 자기발견 과제를 해결하기 위해.
• 특히 불확실하거나 정체성 형성 단계의 결정에서 정보 제공에서 반성적 대화로의 전환을 통해 사용자의 결정 과정에서의 좌절감을 줄이기 위해.
• 활발한 참여와 지혜로운 피드백을 통해 연구 관심사에 대한 애자성과 책임감을 유도하는 대화형 보조자를 설계하기 위해.
• 학술적 결정 과정에서 전통적인 Q&A 기반 챗봇과 비교해 볼 때, 사고 보조자 모델이 사용자 참여도와 만족도를 향상시키는지 평가하기 위해.
• 특히 합격 가능성에 대한 명확한 답변(예: '네' 또는 '아니요')을 기대하는 사용자들과의 갈등을 고려하여 반성적 대화와 사용자 기대 간의 균형을 탐색하기 위해.

제안 방법

• 시스템 *\Sys* 는 참가한 HCI 교수들의 커리레이티드 데이터(연구의 진화, 멘토링 스타일, 핵심 특성 등)에 맞춰 미세조정된 GPT-4를 사용한다.
• 이 보조자는 두 가지 모드로 작동한다: '탐구' 모드는 사용자의 사고를 깊이 있게 만들기 위해 반성적 질문을 하며, '답변' 모드는 교수에 대한 사실 정보를 제공한다.
• 보조자는 대부분의 대화 끝에 다음 질문을 던지는 동적 응답 전략을 사용하여 대화를 유지하고 반성적 사고를 장려한다.
• 보조자의 보조 안전봇은 특히 논문 및 프로그램 세부 정보와 같은 사실적 진술을 검증하여 오류 정보 확산을 방지한다.
• 참가 교수들과의 반복적 설계 및 검증을 통해 그들의 전문성과 멘토링 방식을 정확하게 반영할 수 있도록 했다.
• 사용자 대화는 총 223건의 상호작용을 기준으로 기록되고 분석되어 참여도, 만족도, 응답 패턴을 평가했다.

Figure 1. \Sys is a thinking assistant that helps prospective graduate students reflect on research interests. Based on the user’s question, the assistant chooses between a ‘probing’ mode, understanding user interests and prompting reflection, and an ‘answering’ mode that offers with relevant inform

실험 결과

연구 질문

• RQ1 질문 중심의 사고 보조자가 대학원 지원 상황에서 사용자 참여도와 만족도에 어떤 영향을 미치는가?
• RQ2 고위험 결정, 예를 들어 대학원 지원 과정에서 사용자가 직접적인 답변보다 반성적 대화를 얼마나 선호하는가?
• RQ3 연구 관심사의 개인적 공개가 사고 보조자와의 상호작용의 질과 깊이에 어떤 영향을 미치는가?
• RQ4 사용자가 '합격 가능성'과 같은 명확한 답변(예: '네' 또는 '아니요')을 기대할 때 사고 보조자의 한계는 무엇인가?
• RQ5 사용자 신뢰를 해치지 않으면서 반성적 지지와 사실 정보 검색 사이의 균형을 어떻게 유지할 수 있는가?

주요 결과

• 사용자들은 응답에 대해 65%의 만족도를 보였으며, 교수에 대해 묻는 것보다 자신의 연구 관심사를 논의할 경우 훨씬 더 높은 참여도를 보였다.
• 개인 연구 관심사 공개를 포함한 대화는 평균적으로 한 번의 상호작용당 6개의 메시지를 기록하여 더 깊은 참여를 보였고, 정보 중심의 질문은 짧고 만족도가 낮았다.
• 명확한 답변(예: '내가 합격할 수 있을까?')을 요청한 사용자들은 반성적 모드에 대해 만족하지 못했으며, 이는 사용자 기대와 보조자의 설계 간의 괴리가 있음을 보여준다.
• 공개 정보가 존재하더라도 논문 추천과 같은 기본적인 사실 정보 검색조차도 유용하게 느껴졌으며, 이는 코어네이티드이고 접근 가능한 응답의 가치를 시사한다.
• 보조자의 안전봇은 사실 오류를 성공적으로 수정하여, LLM 기반 보조자에 있어 검증 레이어의 중요성을 입증했다.
• 이중 모드 설계(탐구 대비 답변)는 기술적 융통성을 제공했지만, 사용자가 보조자가 정보 제공보다 반성적 사고를 우선시할 때 적응에 어려움을 겪었다.

Figure 2. \Sys interface. Left: Before a user initiates conversation, it shows description of the chatbot. In the interface, we suggest users starting by sharing about their research interest. Right: The chatbot primarily focuses on asking thought-provoking questions and probing users’ research inte