[論文レビュー] "It makes you think": Provocations Help Restore Critical Thinking to AI-Assisted Knowledge Work

Ian Drosos, Advait Sarkar+3 more|ArXiv.org|Jan 28, 2025

AI in Service Interactions被引用数 3

ひとこと要約

この論文は、因子提案に付随するAI生成の短い批評で provocations を導入し、AI支援のショートリスト作成タスクにおける批判的思考を回復させることを示す。被験者間デザイン（n=24）で検証。provocations は Bloom の分類学を跨るメタ認知・批判的思考を誘発し、ユーザー体験に影響を与える設計次元を明らかにした。

ABSTRACT

Recent research suggests that the use of Generative AI tools may result in diminished critical thinking during knowledge work. We study the effect on knowledge work of provocations: brief textual prompts that offer critiques for and propose alternatives to AI suggestions. We conduct a between-subjects study (n=24) in which participants completed AI-assisted shortlisting tasks with and without provocations. We find that provocations can induce critical and metacognitive thinking. We derive five dimensions that impact the user experience of provocations: task urgency, task importance, user expertise, provocation actionability, and user responsibility. We connect our findings to related work on design frictions, microboundaries, and distributed cognition. We draw design implications for critical thinking interventions in AI-assisted knowledge work.

研究の動機と目的

• Provocations が AI支援の知識作業における機械的収束を打破する方法を示す。
• Provocations がショートリスト作成タスク中のユーザーの批判的思考とメタ認知に与える影響を評価する。
• Provocations の有効性とユーザー体験に影響を与える設計要因を特定する。

提案手法

• AI が因子を提案し、それらに対して項目を評価するプロトタイプのショートリストインタフェースを開発する。
• Provocations 条件で各因子提案に2文の provocations を付随させる。
• Provocations 対 No Provocations の間接比較を行う被験者間デザイン（n=24）をショートリスト作成タスクの2つで実施する。
• 同一の初期ショートリスト作成目的を持つ2つのデータセット（慈善助成金と Netflix 映画）を使用する。
• 参加者の批判的思考の関与度を測定し、定性的洞察を収集する。
• 設計の選択は Bloom’s taxonomy と批判的思考理論に基づく。

実験結果

リサーチクエスチョン

• RQ1 Provocations は AI支援ショートリスト作成タスク中のユーザーの批判的思考に影響を与えるか。
• RQ2 Provocations の有効性に影響を与える設計・タスク・ユーザー要因は何か。
• RQ3 Provocations はユーザー体験と AI 提案の知覚にどのように影響するか。

主な発見

• Provocations は AI支援タスクで批判的思考とメタ認知思考を誘発できる。
• Provocations に対して五つのユーザー体験次元が出現した：タスク緊急性、タスク重要性、ユーザーの専門知識、provocation の実行可能性、ユーザーの責任感。
• Provocations は機械的収束傾向を相殺し、Bloom の分類学の複数レベルでの推論を支援する。
• 二タスクの被験者間デザイン研究では、Provocations 条件と No Provocations 条件の体験が明確に異なることが示された。
• 参加者は因子カードと provocations を用いてショートリストを反復的に精練し、データ因子と批判的反省の間の微妙な相互作用を明らかにした。