[論文レビュー] Designing Human and Generative AI Collaboration

Kartik Hosanagar, Daehwan Ahn|arXiv (Cornell University)|Dec 14, 2024

Big Data and Business IntelligenceBusiness, Management and Accounting被引用数 3

ひとこと要約

本研究では、人間と生成的AIとの間の協働設計が創造的ライティングの成果に与える影響を調査する。制御された実験を通じて、初期の創造的段階における人的な能動的参加が、物語の質、面白さ、ユーザー満足度を著しく向上させ、AIへの過度な依存を軽減し、創造的多様性を維持することを明らかにした。

ABSTRACT

We examined the effectiveness of various human-AI collaboration designs on creative work. Through a human subjects experiment set in the context of creative writing, we found that while AI assistance improved productivity across all models, collaboration design significantly influenced output quality, user satisfaction, and content characteristics. Models incorporating human creative input delivered higher content interestingness and overall quality as well as greater task performer satisfaction compared to conditions where humans were limited to confirming AI's output. Increased AI involvement encouraged creators to explore beyond personal experience but also led to lower aggregate diversity in stories and genres among participants. However, this effect was mitigated through human participation in early creative tasks. These findings underscore the importance of preserving the human creative role to ensure quality, satisfaction, and creative diversity in human-AI collaboration.

研究の動機と目的

• 創造的ライティングタスクにおける人間とAIの関与度の違いが、出力の質とユーザー体験に与える影響を調査すること。
• 協働設計が、生成された物語におけるジャンルやテーマの多様性に与える影響を検討すること。
• 初期段階での人的参加が、AI支援創造的作業の最終的質と独自性に与える影響を評価すること。
• AIの生産性の利点を活用しつつも、人間の創造的自律性を保つ設計原則を特定すること。

提案手法

• 制御された協働条件のもとで、創造的ライティングの文脈における被験者実験を実施した。
• 人間が初期アイデアを生成するか、あるいはAIが生成した内容を確認するかの異なるAI協働モデルを比較した。
• 物語の質、面白さ、ユーザー満足度を評価するための標準化された指標を用いた。
• ジャンル、テーマ、物語構造の多様性を分析するために、物語出力を収集・分析した。
• ユーザー体験と認識された満足度を評価するために、定性的フィードバックと定量的評価を併用した。
• 人的入力のタイミングと創造的成果の関係を検討するための補足的分析を実施した。

実験結果

リサーチクエスチョン

• RQ1 創造的プロセスにおける人的関与のタイミングと範囲が、AI支援物語の質と面白さに与える影響は何か？
• RQ2 AI単独生成と人間-AI共同創造の違いが、物語の多様性と独自性に与える影響は何か？
• RQ3 協働設計が、AI支援創造的タスクにおけるユーザー満足度と認識された自律性に与える影響は何か？
• RQ4 AI関与の増加が、ユーザーが生成する物語におけるジャンルやテーマの多様性をどの程度減少させるか？

主な発見

• 初期アイデア段階での人的入力を要件とする協働モデルでは、面白さと総合的質の観点で著しく高い評価を得た物語が生成された。
• 参加者が創造的に貢献した場合、単にAI出力を確認するだけの状況よりも、より高い満足度を報告した。
• 人的参加が限定された条件では、物語全体におけるジャンルやテーマの集計的多様性が低かった。
• AI関与の増加は、個人の経験を超えた探求を促進したが、物語の多様性が低下する代償を伴った。
• 初期段階での人的参加は、高水準のAI関与に伴う創造的多様性の低下を緩和した。
• AI支援はすべてのモデルで生産性を向上させたが、質と満足度は協働設計に強く依存していた。