[論文レビュー] Mapping the Design Space of Human-AI Interaction in Text Summarization

Ruijia Cheng, Alison Smith+3 more|arXiv (Cornell University)|Jun 29, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿は、70篇の論文を分析することで、テキスト要約における人間-AIインタラクションの設計空間をマッピングし、5つのインタラクションタイプと関連する設計次元の分類を構築する。16名の参加者を対象としたプロトタイプ開発とインタビューを通じて、AI支援要約における効率性、コントロール、信頼性に関する重要な設計上の配慮を同定し、テキスト生成タスクにおける人間中心のAIシステム設計に向けた実践的インサイトを提示する。

ABSTRACT

Automatic text summarization systems commonly involve humans for preparing data or evaluating model performance, yet, there lacks a systematic understanding of humans' roles, experience, and needs when interacting with or being assisted by AI. From a human-centered perspective, we map the design opportunities and considerations for human-AI interaction in text summarization and broader text generation tasks. We first conducted a systematic literature review of 70 papers, developing a taxonomy of five interactions in AI-assisted text generation and relevant design dimensions. We designed text summarization prototypes for each interaction. We then interviewed 16 users, aided by the prototypes, to understand their expectations, experience, and needs regarding efficiency, control, and trust with AI in text summarization and propose design considerations accordingly.

研究の動機と目的

• テキスト要約においてAIと対話する、あるいはAIの支援を受ける人間の役割、経験、ニーズを体系的かつ理解すること。
• テキスト生成タスクにおける人間とAIの間の繰り返し発生するインタラクションパターンを特定・分類すること。
• 要約ワークフローにおける効果的な人間-AI協働を支援する設計次元を構築すること。
• AI支援要約における効率性、コントロール、信頼性に関するユーザーの期待、経験、ニーズを評価すること。
• 今後のAIシステム開発を支援するため、実証的ユーザーフィードバックに基づいた具体的な設計配慮を提示すること。

提案手法

• テキスト要約およびテキスト生成における人間-AIインタラクションに関する70篇の論文を対象とした体系的文献レビューを実施した。
• AI支援テキスト生成における5つの明確に区別できるインタラクションタイプの分類を構築し、それぞれに関連する設計次元を特定した。
• 各5つのインタラクションタイプをシミュレートするためのインタラクティブプロトタイプを設計・実装した。
• 16名のユーザーを募集し、プロトタイプを用いたインタビューを実施し、要約タスクにおけるAIとの対話経験に焦点を当てた。
• インタビューのデータを分析し、人間-AI協働における効率性、コントロール、信頼性に関連するテーマを抽出した。
• 得られた知見を統合し、テキスト要約における人間中心のAIシステム構築に向けた実践的設計配慮のセットを提示した。

実験結果

リサーチクエスチョン

• RQ1 テキスト要約タスクにおける人間とAIとの主なインタラクションタイプは何であるか？
• RQ2 テキスト生成における効果的な人間-AI協働を支援するにあたり、最も関連性の高い設計次元は何か？
• RQ3 ユーザーは、要約ワークフローにおけるAIとの対話において、どのように効率性、コントロール、信頼性を認識しているか？
• RQ4 AI支援要約におけるユーザーの主な期待と課題は何か？
• RQ5 ユーザー経験からどのように設計原則を導き出し、今後のシステム開発をガイドできるか？

主な発見

• 本研究では、AI支援テキスト要約における5つの明確に区別できるインタラクションタイプを同定した：入力準備、モデルの最適化、結果選択、フィードバック提供、結果検証。
• ユーザーは、出力の編集や調整を可能にする細かいつながりの制御を強く求めた。
• AI出力に対する信頼性は、モデルの推論プロセスの透明性および変更履歴の追跡可能性に強く影響を受けていた。
• ユーザーが関連する編集を素早く特定・適用できることで、効率性が顕著に向上した。これは、知能的な提案インターフェースの価値を示唆している。
• ユーザーはAIへの過剰依存を懸念しており、人間の監視と意思決定権を維持することが重要であると強調した。
• 編集可能性、追跡可能性、フィードバックメカニズムといった設計次元は、効果的な協働に不可欠であると一貫して指摘された。