[論文レビュー] Enhancing Critical Thinking in Generative AI Search with Metacognitive Prompts

Anjali Singh, Zhitong Guan+1 more|ArXiv.org|May 29, 2025

AI in Service Interactions被引用数 3

ひとこと要約

この論文は、GenAIベースの検索中にメタ認知的プロンプトが批判的思考とエンゲージメントを高めるかどうかを、大学生を対象としたユーザ研究で調査しています。

ABSTRACT

The growing use of Generative AI (GenAI) conversational search tools has raised concerns about their effects on people's metacognitive engagement, critical thinking, and learning. As people increasingly rely on GenAI to perform tasks such as analyzing and applying information, they may become less actively engaged in thinking and learning. This study examines whether metacognitive prompts - designed to encourage people to pause, reflect, assess their understanding, and consider multiple perspectives - can support critical thinking during GenAI-based search. We conducted a user study (N=40) with university students to investigate the impact of metacognitive prompts on their thought processes and search behaviors while searching with a GenAI tool. We found that these prompts led to more active engagement, prompting students to explore a broader range of topics and engage in deeper inquiry through follow-up queries. Students reported that the prompts were especially helpful for considering overlooked perspectives, promoting evaluation of AI responses, and identifying key takeaways. Additionally, the effectiveness of these prompts was influenced by students' metacognitive flexibility. Our findings highlight the potential of metacognitive prompts to foster critical thinking and provide insights for designing and implementing metacognitive support in human-AI interactions.

研究の動機と目的

• GenAI検索ツールの使用時にメタ認知的エンゲージメントと批判的思考を保持・育成する必要性を動機づける。
• GenAI支援検索中の思考過程と検索行動にメタ認知的プロンプトが影響するかを検討する。
• プロンプトがトピック探究の広がり、探究の深さ、複数の視点の検討に与える影響を評価する。
• AI出力の評価と要点の把握に対するプロンプトの有用性の自己報告を評価する。

提案手法

• 40名の大学生を対象とした統制されたユーザ研究を実施する。
• メタ認知的プロンプトの有無の条件でGenAIベースの検索ツールを参加者に提示する。
• 参加者の報告とインタラクションを通じて思考過程と検索行動を捕捉する。
• プロンプトがより広いトピック探究とより深いフォローアップ質問を促すか分析する。
• AI回答を検討する際の見落としがちな視点の考慮とAI回答の評価に対するプロンプトの有用性を評価する。
• メタ認知的柔軟性の個人差がプロンプトの有効性をどのように調整するかを検討する。

実験結果

リサーチクエスチョン

• RQ1 メタ認知的プロンプトはGenAI検索における能動的エンゲージメントと広いトピック探究を高めるか？
• RQ2 プロンプトはより深い探究とAI生成情報の効果的な評価を促進するか？
• RQ3 メタ認知的柔軟性の個人差はプロンプトの有効性にどのように影響するか？
• RQ4 プロンプトは見落としがちな視点を検討しAI回答から要点を特定するのを助けるか？

主な発見

• プロンプトはより能動的なエンゲージメントとトピックの広い探究を促進した。
• プロンプトはフォローアップ質問を通じてより深い探究を促した。
• 参加者はプロンプトが見落としがちな視点を検討しAI回答を評価するのに役立つと報告した。
• プロンプトはAI出力から要点を特定するのに特に有用だった。
• プロンプトの有効性は利用者のメタ認知的柔軟性によって影響を受けた。