[論文レビュー] Nine Potential Pitfalls when Designing Human-AI Co-Creative Systems

Daniel Buschek, Lukas Mecke+2 more|arXiv (Cornell University)|Apr 1, 2021

Data Visualization and Analytics参考文献 30被引用数 18

ひとこと要約

本論文は、HCIおよびAI分野の研究を基盤として、生成AIを用いた人間-AI共同創造システムの設計における9つの深刻な落とし穴を特定する。不透明なAI境界、表現性の欠如、アルゴリズム的バイアスといった問題に対処するための実行可能な設計戦略を提言し、創造的実践およびそれ以上の分野において、より倫理的で効果的かつユーザ中心の共同創造ツールをガイドすることを目的としている。

ABSTRACT

This position paper examines potential pitfalls on the way towards achieving human-AI co-creation with generative models in a way that is beneficial to the users' interests. In particular, we collected a set of nine potential pitfalls, based on the literature and our own experiences as researchers working at the intersection of HCI and AI. We illustrate each pitfall with examples and suggest ideas for addressing it. Reflecting on all pitfalls, we discuss and conclude with implications for future research directions. With this collection, we hope to contribute to a critical and constructive discussion on the roles of humans and AI in co-creative interactions, with an eye on related assumptions and potential side-effects for creative practices and beyond.

研究の動機と目的

• 生成AIモデルを用いた人間-AI共同創造システムにおける設計上の落とし穴を特定・体系化すること。
• 現在のAIの限界、AIへの過度な依存、創造的ワークフローにおける包括的なシステム的仮定に起因するリスクを浮き彫りにすること。
• 人間とAIの共同創造における役割について、ユーザの利益と創造的整合性に焦点を当て、批判的で多様な分野の議論を喚起すること。
• より透明性があり、表現力があり、責任ある共同創造ツールを構築しようとする研究者・実務家を支援するための設計ガイドラインおよび基本的検討事項を提供すること。
• ユーザの創造性、信頼、制御の低下を招く可能性のある問題的設計パターンを暴露することで、評価フレームワークの整備を支援すること。

提案手法

• 人間-AI共同創造の相互作用における潜在的問題を特定するために、予測的デザインおよびダークパターン研究にインspiredされた定性的で予測的なブレインストーミング手法を採用した。
• 3つのプロンプトに焦点を当てた：現在のAI能力の限界、AIの過剰な関与に伴うリスク、即時の使用文脈を超えたシステム的問題。
• 特定された各落とし穴を、実際または妥当な生成AI応用分野（例：画像編集、テキスト生成）からの具体的な事例にマッピングした。
• 各落とし穴に対する緩和戦略を提案した。UI/UXの介入（例：不確実性の可視化、フィードバックループの改善）およびAIレベルの改善（例：より良い分離、範囲の狭小化）を含む。
• ホルヴィッツのミックスド・イニシアチブ原則やグツダイアとリードルの共同創造フレームワークといった、既存の枠組みを用いて設計の意味を文脈づけた。
• 問題的基準システム（例：AIが過剰に関与しているバージョン）を提示することで、より良い設計をベンチマークするための比較的評価の基盤を提供した。

実験結果

リサーチクエスチョン

• RQ1 生成AIを用いた人間-AI共同創造システムにおいて、ユーザの自律性、創造性、信頼を損なう可能性のある主な設計上の落とし穴は何か？
• RQ2 一般化能力の低さやエンタングルドされた潜在空間といった、現在のAI能力の限界が、使いやすさと創造的障壁としてどのように現れるのか？
• RQ3 AIの過剰な関与が、ユーザの認識を歪め、表現力を低下させたり、アルゴリズム的不安定感を引き起こしたりするメカニズムは何か？
• RQ4 隠れたバイアス、データ依存性、下流の影響といったシステム的問題が、創造的成果物の整合性と評価にどのように影響を及えるのか？
• RQ5 AIを共同創造パートナーとしての利点を保ちつつ、これらの落とし穴を効果的に緩和するための設計戦略は何か？

主な発見

• 不透明なAI境界からアルゴリズム的バイアス、不十分なフィードバックメカニズムに至るまで、9つの明確に区別できる設計上の落とし穴が特定され、実世界の創造的AI応用からの具体的な事例を伴って示された。
• 多くの落とし穴はAIの限界に起因するだけでなく、不良なインタラクション設計やUI/UXの選択にも起因しており、より良いAIだけでは、根本的な使いやすさや倫理的問題を解決できないことが示された。
• 本論文は、透明性の欠如やユーザのコントロールの欠如といった問題的設計パターンが、ユーザのいらだち、創造性の低下、ひいてはツールの放棄を引き起こす可能性があることを実証した。
• 著者らは、不確実性の可視化、フィードバックループの改善、インタラクションにおける表現力の向上といった、的を射たUI/UXの介入によって、これらの落とし穴を体系的に是正できることを示した。
• 提示された落とし穴は、新たなシステムが既知の失敗モードに対してどのように改善されているかを評価するための貴重な基準として機能する。
• 本研究は、成功した共同創造システムには、HCIの原則とAIの能力を統合した多様な分野の設計が不可欠であり、透明性、ユーザのコントロール、倫理的配慮を重視する必要があると結論づけた。