[論文レビュー] Evaluating Creativity in Computational Co-Creative Systems

Pegah Karimi, Kazjon Grace+2 more|arXiv (Cornell University)|Jul 25, 2018

Artificial Intelligence in Games被引用数 14

ひとこと要約

本論文は、人間とAIが共同で芸術的成果物を共同で創造するリアルタイムのコンピュータ支援共同創造システムにおける創造性を評価するための四質問フレームワーク—評価者、評価対象、タイミング、方法—を提案する。主な貢献は、現在のシステムに深刻な欠落があることを特定することである。すなわち、大多数のシステムがユーザー体験のみを評価しており、AI自身の創造的貢献については評価していないこと。本稿は、自己評価と意図的行動の統合を提唱し、真の共同創造的で自己認識を持つAIエージェントへと進化させるべきであると提言する。

ABSTRACT

This paper provides a framework for evaluating creativity in co-creative systems: those that involve computer programs collaborating with human users on creative tasks. We situate co-creative systems within a broader context of computational creativity and explain the unique qualities of these systems. We present four main questions that can guide evaluation in co-creative systems: Who is evaluating the creativity, what is being evaluated, when does evaluation occur and how the evaluation is performed. These questions provide a framework for comparing how existing co-creative systems evaluate creativity, and we apply them to examples of co-creative systems in art, humor, games and robotics. We conclude that existing co-creative systems tend to focus on evaluating the user experience. Adopting evaluation methods from autonomous creative systems may lead to co-creative systems that are self-aware and intentional.

研究の動機と目的

• 計算的創造性研究分野における共同創造システムの体系的評価手法の欠如に取り組むこと。
• 共同創造システム、自律的創造システム、創造的支援ツールの間の明確な違いを明確化すること。
• 現在の評価実務における欠陥、特にユーザー体験指標への過剰依存を特定すること。
• 意図的で創造的な協働を可能にするために、AIエージェントに自己評価と自己認識を統合するよう提言すること。
• 多様な分野における共同創造システムの評価を比較・改善するための構造的フレームワークを提供すること。

提案手法

• 四質問フレームワークの提案：(1) 誰が創造性を評価するか？(2) 何が評価対象か？(3) 評価はいつ行われるか？(4) どのように評価が行われるか？
• アート、ユーモア、ゲーム、ロボティクス分野の実世界の共同創造システム（SHIMON やテキストベースの共同創造ツールを含む）に、このフレームワークを適用する。
• 評価タイプを形成的評価と総括的評価に分類し、評価手法を観察的評価、ユーザー調査、ユーザビリティテストに分類する。
• 自律的創造システムや創造的支援ツールと比較することで、共同創造環境特有の評価ニーズを浮き彫りにする。
• 協働的創造を支援するため、説明可能AI、透明性、中止可能（interruptibility）の重要性を強調する。
• ユーザー満足度を超えて、AIが生成する創造的貢献の独自性、整合性、意図的性を測る指標の統合を提言する。

実験結果

リサーチクエスチョン

• RQ1 人間-AI共同創造システムにおける創造性は、異なる分野においてどのように体系的に評価可能か？
• RQ2 共同創造システム、自律的創造システム、創造的支援ツールの間で、評価アプローチにどのような主な違いがあるか？
• RQ3 なぜ現在の共同創造システムは、AI自身の創造的貢献を評価するのではなく、主にユーザー体験に焦点を当てるのか？
• RQ4 共同創造システムは、埋め込まれた評価メカニズムを通じて、自己認識と意図的行動をどのように達成できるか？
• RQ5 AIが創造的プロセスに果たす役割を評価するには、最終的成果物だけでなく、その過程を評価するためのどのような評価手法と指標が必要か？

主な発見

• 既存の共同創造システムは、主にユーザー体験と製品満足度を評価しており、AI自身の創造的出力への注目はほとんどない。
• SHIMON における評価は、ライブパフォーマンスの観察と観客反応に依存しており、これは総括的で観察的アプローチを示している。
• SHIMON ロボットの即興的行動は、インspiring（インスピレーションを与える）で、相互作用的であると認識され、人間とAIの間で創造的貢献が交互に行われた。
• 40,000件を超える動画再生（例：40,000+ video views）という広範な称賛にもかかわらず、ロボットの創造性や独自性を正式に測る指標は存在せず、ユーザーの主観に依存していた。
• 共同創造システムはしばしば創造的支援ツールを拡張したものであるが、AIの創造的意図や質を評価するメカニズムを欠いている。
• 本研究は、将来の共同創造システムが自己認識と意図的協働を実現するため、自己評価手法を採用する必要があると結論づける。これは、受動的なユーザーフィードバックにとどまらず、前向きな進化を意味する。