[論文レビュー] CoQuest: Exploring Research Question Co-Creation with an LLM-based Agent

Yiren Liu, Si Chen+6 more|arXiv (Cornell University)|Oct 9, 2023

Wikis in Education and Collaboration被引用数 4

ひとこと要約

CoQuest は、幅優先および深さ優先の研究課題（RQ）生成という2つのインタラクション設計を用いて、研究者とAIの協働による新規研究課題の生成を支援するLLMベースの共同創造システムである。20名の参加者を対象とした研究の結果、タスク中は深さ優先の生成がより創造的に感じられたが、全体としての結果では幅優先の生成がより創造的かつ信頼性が高かった。AIの処理遅延により、ユーザーの熟考と自己制御感が高まったことが明らかになった。

ABSTRACT

Developing novel research questions (RQs) often requires extensive literature reviews, especially in interdisciplinary fields. To support RQ development through human-AI co-creation, we leveraged Large Language Models (LLMs) to build an LLM-based agent system named CoQuest. We conducted an experiment with 20 HCI researchers to examine the impact of two interaction designs: breadth-first and depth-first RQ generation. The findings revealed that participants perceived the breadth-first approach as more creative and trustworthy upon task completion. Conversely, during the task, participants considered the depth-first generated RQs as more creative. Additionally, we discovered that AI processing delays allowed users to reflect on multiple RQs simultaneously, leading to a higher quantity of generated RQs and an enhanced sense of control. Our work makes both theoretical and practical contributions by proposing and evaluating a mental model for human-AI co-creation of RQs. We also address potential ethical issues, such as biases and over-reliance on AI, advocating for using the system to improve human research creativity rather than automating scientific inquiry.

研究の動機と目的

• 幅優先と深さ優先の異なるAIインタラクション設計が、人間とAIの協働による研究課題の共同創造に与える影響を調査すること。
• AIの処理遅延が、研究課題生成の過程でユーザーの熟考、自己制御感、創造性をどのように促進するかを検討すること。
• 人間とAIの共同創造におけるユーザーの信頼、自己制御感、認知バイアス（例：確認バイアス）を評価すること。
• 文献可視化、根拠説明（AI Thoughts）、インタラクティブフィードバックを統合したシステムを設計・評価すること。

提案手法

• CoQuest は3パネルのインターフェースで構成される：研究課題（RQ）の生成を目的としたRQフローエディタ、文献探索のためのペーパー・グラフ可視化ツール、AIの推論を説明するためのAI Thoughtsパネル。
• システムは2つのインタラクションモードをサポートする：幅優先（早期に多数のRQを生成）と深さ優先（1つのRQに集中して処理）。ユーザーのフィードバックは反復的に統合される。
• ユーザーが複数のRQを同時に熟考できるようにするため、意図的にAIの処理遅延が導入された。
• ユーザーは生成されたRQについて創造性と信頼性を評価し、その後の出力を改善するフィードバックを提供した。
• システムはLLMを用いて文献に基づきRQを生成し、RQ間のリンクをクリックすることでAIの推論（AI Thoughts）を説明する。
• 20名の博士課程学生を対象とした被験内被験デザインにより、自己制御感、創造性、信頼性などの複数の指標を用いて2つのインタラクションモードを比較した。

Figure 1 . CoQuest enables Human-AI co-creation for research questions (RQs) using LLMs through a three-panel design: RQ Flow Editor , Paper Graph Visualizer , and AI Thoughts . Major features of RQ Flow Editor panel include: (a) offering either breadth-first and depth-first RQ generation (see Figur

実験結果

リサーチクエスチョン

• RQ1 幅優先と深さ優先のインタラクション設計は、AIが生成した研究課題に対するユーザーの創造性と信頼性にどのように影響するか？
• RQ2 AIの処理遅延は、ユーザーの熟考、自己制御感、共同で創出された研究課題の質にどのように影響するか？
• RQ3 確認バイアスなどの認知バイアスが、AIが生成したRQの評価やユーザーの認識にどの程度影響を及えるか？
• RQ4 説明（AI Thoughts）とRQ評価機能は、ユーザーの関与をどのように高め、AIへの過剰依存をどのように軽減するか？

主な発見

• タスク終了後、参加者は幅優先アプローチを、タスク中は深さ優先アプローチよりも創造的で信頼できると評価した。
• AIの処理遅延により、ユーザーは複数のRQを同時に熟考でき、生成されたRQの数が多くなり、自己制御感が強化された。
• ユーザーは確認バイアスを示しており、AIが自身の内面的な期待に合致しないRQを生成した際には、自己制御感が低下した。
• AI Thoughts機能は、待機時間中に頻繁に利用され、共同創造プロセスにおける理解と自己制御感の向上に寄与した。
• RQ評価と説明機能により、ユーザーはAI出力の能動的評価が可能になり、盲目的な依存が軽減され、関与度が向上した。
• このシステムの設計により、AIへの過剰依存のリスクの一部が効果的に軽減され、人的な思考の能動的発揮とより良い共同創造の結果が実現された。

(a) Feature Design.