[論文レビュー] Automating Creativity

Minghui Huang, Roland T. Rust|arXiv (Cornell University)|May 11, 2024

Creativity in Education and Neuroscience被引用数 6

ひとこと要約

この論文は、生成AIを単なる生成から創造性へと進化させるために、 reinforcement learning と計算的創造性の洞察を用いた三重プロンプト-レスポンス-報酬設計フレームワークを提案する。

ABSTRACT

Generative AI (GenAI) has spurred the expectation of being creative, due to its ability to generate content, yet so far, its creativity has somewhat disappointed, because it is trained using existing data following human intentions to generate outputs. The purpose of this paper is to explore what is required to evolve AI from generative to creative. Based on a reinforcement learning approach and building upon various research streams of computational creativity, we develop a triple prompt-response-reward engineering framework to develop the creative capability of GenAI. This framework consists of three components: 1) a prompt model for expected creativity by developing discriminative prompts that are objectively, individually, or socially novel, 2) a response model for observed creativity by generating surprising outputs that are incrementally, disruptively, or radically innovative, and 3) a reward model for improving creativity over time by incorporating feedback from the AI, the creator/manager, and/or the customers. This framework enables the application of GenAI for various levels of creativity strategically.

研究の動機と目的

• GenAIをコンテンツ生成から創造性の発露へ移行させる必要性を動機づける。
• プロンプト、レスポンス、報酬を活用して創造的なAIを育成するフレームワークを提案する。
• AI、クリエイター/マネージャー、お客様からのフィードバックを統合して、時間とともに創造性を向上させる。

提案手法

• 目的、個人、または社会的な新規性を生み出す識別的プロンプトを提供するプロンプトモデルを開発する。
• 驚きを生み、段階的に革新的になる出力を生成するレスポンスモデルを開発する（incremental, disruptive, radical）。
• 複数の情報源からのフィードバックを取り入れて、時間とともに創造性を向上させる報酬モデルを開発する。

実験結果

リサーチクエスチョン

• RQ1 プロンプト設計を通じて、GenAIをどのようにして段階的な創造性から根本的な創造性までのさまざまなレベルに誘導できるか？
• RQ2 どのような機構が、フィードバック・ループを介して観察された創造性を時間とともに向上させるのか？
• RQ3 GenAIの創造性のための強化学習アプローチの内に、トリプル・プロンプト-レスポンス-リワード・フレームワークをどのように具現化できるか？

主な発見

• A triple prompt-response-reward framework is proposed to enable creative capabilities in GenAI.
• The framework distinguishes prompts for novelty, responses that are surprising, and rewards that improve creativity over time.
• It enables applying GenAI for various levels of creativity strategically.