[논문 리뷰] CoQuest: Exploring Research Question Co-Creation with an LLM-based Agent

Yiren Liu, Si Chen외 6명|arXiv (Cornell University)|2023. 10. 09.

Wikis in Education and Collaboration인용 수 4

한 줄 요약

CoQuest는 LLM 기반의 공동 창작 시스템으로, 연구자들이 인간-AI 협업을 통해 새로운 연구 질문을 생성하는 데 지원한다. 너비 우선과 깊이 우선의 두 가지 상호작용 설계를 사용한다. 20명의 참가자에 대한 연구 결과에 따르면, 작업 중에는 깊이 우선 방식이 더 창의적으로 느껴졌지만, 종합적으로는 너비 우선 방식이 더 창의적이고 신뢰할 만한 결과를 이끌어냈다. AI 처리 지연은 사용자의 반성과 인지적 통제감을 높였다.

ABSTRACT

Developing novel research questions (RQs) often requires extensive literature reviews, especially in interdisciplinary fields. To support RQ development through human-AI co-creation, we leveraged Large Language Models (LLMs) to build an LLM-based agent system named CoQuest. We conducted an experiment with 20 HCI researchers to examine the impact of two interaction designs: breadth-first and depth-first RQ generation. The findings revealed that participants perceived the breadth-first approach as more creative and trustworthy upon task completion. Conversely, during the task, participants considered the depth-first generated RQs as more creative. Additionally, we discovered that AI processing delays allowed users to reflect on multiple RQs simultaneously, leading to a higher quantity of generated RQs and an enhanced sense of control. Our work makes both theoretical and practical contributions by proposing and evaluating a mental model for human-AI co-creation of RQs. We also address potential ethical issues, such as biases and over-reliance on AI, advocating for using the system to improve human research creativity rather than automating scientific inquiry.

연구 동기 및 목표

• 너비 우선 및 깊이 우선 상호작용 설계가 인간-AI 협업에서 연구 질문 공동 창작에 어떤 영향을 미치는지 조사하기.
• AI 처리 지연이 연구 질문 생성 과정에서 사용자의 반성, 인지적 통제감, 창의성에 어떤 영향을 미치는지 분석하기.
• 인간-AI 공동 창작 과정에서 사용자의 신뢰도, 인지적 통제감, 인지 편향(예: 확인 편향)을 평가하기.
• 문헌 시각화, 추론 설명(_AI Thoughts_), 상호작용 피드백 기능을 통합한 시스템을 설계하고 평가하기.

제안 방법

• CoQuest는 세 개의 패널으로 구성된 인터페이스로, RQ 흐름 편집기(연구 질문 생성용), 논문 그래프 시각화기(문헌 탐색용), AI Thoughts 패널(AI의 추론을 설명하는 용도)이다.
• 시스템은 너비 우선(초기 단계에서 다수의 RQ 생성)과 깊이 우선(한 번에 하나의 RQ에 집중)이라는 두 가지 상호작용 모드를 지원하며, 사용자 피드백을 반복적으로 통합한다.
• 사용자가 여러 RQ를 동시에 고려할 수 있도록 반성 시간을 확보하기 위해 의도적으로 AI 처리 지연을 도입했다.
• 사용자는 생성된 RQ의 창의성과 신뢰도를 평가하고, 후속 출력을 개선하기 위해 피드백을 제공한다.
• 시스템은 문헌 기반으로 LLM을 사용해 RQ를 생성하며, RQ 간 연결을 클릭하면 AI의 추론 과정을 설명하는 'AI Thoughts' 기능을 제공한다.
• 20명의 박사과정 학생을 대상으로 한 내부 설계 실험에서, 인지적 창의성, 신뢰도, 통제감 등 다양한 지표를 바탕으로 두 상호작용 모드를 비교했다.

Figure 1 . CoQuest enables Human-AI co-creation for research questions (RQs) using LLMs through a three-panel design: RQ Flow Editor , Paper Graph Visualizer , and AI Thoughts . Major features of RQ Flow Editor panel include: (a) offering either breadth-first and depth-first RQ generation (see Figur

실험 결과

연구 질문

• RQ1 너비 우선 대비 깊이 우선 상호작용 설계가 AI가 생성한 연구 질문에 대한 창의성과 신뢰도에 어떤 영향을 미치는가?
• RQ2 AI 처리 지연은 사용자의 반성, 인지적 통제감, 공동 창작된 연구 질문의 질에 어떤 영향을 미치는가?
• RQ3 확인 편향과 같은 인지 편향이 사용자의 AI 생성 RQ에 대한 인식과 평가에 어느 정도 영향을 미치는가?
• RQ4 설명(_AI Thoughts_)과 RQ 평가 기능은 사용자 참여를 어떻게 증진시키고 AI에 대한 과도한 의존을 줄이는가?

주요 결과

• 참가자들은 작업 완료 후 너비 우선 접근이 더 창의적이고 더 신뢰할 만하다고 평가했지만, 작업 중에는 깊이 우선 방식이 더 창의적으로 느껴졌다.
• AI 처리 지연 덕분에 사용자는 동시에 여러 RQ를 반성할 수 있었고, 이는 더 많은 RQ 생성과 더 강한 인지적 통제감을 유도했다.
• 사용자들은 확인 편향을 보였으며, AI가 내재된 기대에 부합하지 않을 경우 통제감이 감소했다.
• AI Thoughts 기능은 기다리는 동안 자주 사용되었고, 공동 창작 과정에서 사용자 이해도와 인지적 통제감을 향상시켰다.
• RQ 평가 및 설명 기능은 사용자가 AI 출력을 능동적으로 평가하는 데 기여했으며, 맹목적인 의존을 줄이고 참여도를 높였다.
• 시스템의 설계는 AI 과도한 의존의 일부 위험을 효과적으로 완화했으며, 활동적인 인간의 사고를 지원하고 더 나은 공동 창작 결과를 이끌어냈다.

(a) Feature Design.