[論文レビュー] An Interaction Framework for Studying Co-Creative AI

Matthew Guzdial, Mark Riedl|arXiv (Cornell University)|Mar 22, 2019

Data Visualization and Analytics参考文献 18被引用数 5

ひとこと要約

本論文は、共同創造AIシステムにおけるターンベースのインタラクションフレームワークを提案し、6つの構成要素（開始、アクション（アートファクト、その他、ノンターン）、AIアルゴリズム、ユーザー、ターン、終了）を通じて人間とAIの協働を構造化する。このフレームワークにより、共同創造システムの体系的比較が可能となり、ユーザーの認識に与えるデザインの影響が明らかになり、非ターン学習や元に戻す機能がユーザーエクスペリエンスを向上させるといった仮説が提示される。これらの仮説は、マルコフ連鎖、ベイズネットワーク、LSTM、およびディープ強化学習エージェントを用いた人間主導の研究で実証された。

ABSTRACT

Machine learning has been applied to a number of creative, design-oriented tasks. However, it remains unclear how to best empower human users with these machine learning approaches, particularly those users without technical expertise. In this paper we propose a general framework for turn-based interaction between human users and AI agents designed to support human creativity, called {co-creative systems}. The framework can be used to better understand the space of possible designs of co-creative systems and reveal future research directions. We demonstrate how to apply this framework in conjunction with a pair of recent human subject studies, comparing between the four human-AI systems employed in these studies and generating hypotheses towards future studies.

研究の動機と目的

• 共同創造AIシステムを分析・比較するための構造的で一般化可能なフレームワークの欠如に対処すること。
• 非技術的ユーザーが創造的タスクにおいて自らを主導できる人間中心の共同創造システムの設計を支援すること。
• クリエイティブサポートツール、自律的システム、共同創造システムなど、多様なAIインタラクションパラダイム間の体系的比較を可能にすること。
• 構成要素の構造的分析を通じて、共同創造AIにおけるデザイン選択に関する検証可能な研究仮説を生成すること。
• 主なインタラクション変数を特定することで、より効果的でユーザー対応型の共同創造システムの開発を導くこと。

提案手法

• フレームワークは、人間ユーザーとAIエージェントの間でターンベースのインタラクションとして共同創造システムをモデル化し、6つのコアコンponents（開始、アクション（アートファクト、その他、ノンターン）、AIアルゴリズム、ユーザー、ターン、終了）を有する。
• 各コンponentはデザインの吟味ポイントとして機能し、分野を越えてシステム行動の明確な記述を可能にする。
• フレームワークは、ルバールのコンピュータ役割（ナニー、ペンペア、コーチ、同僚）や3つのインタラクションクラス（クリエイティブサポート、自律的、共同創造）といった先行分類の表現にも応用された。
• 2つの人間被験研究を通じて検証され、レベル生成タスクにおいてマルコフ連鎖、ベイズネットワーク、LSTM、およびディープ強化学習エージェントを用いたAIエージェントの比較が行われた。
• アクティブな学習やユーザーの元に戻すボタンといったノンターンアクションの影響が、ユーザーの認識とシステムパフォーマンスに与える影響が分析された。
• フレームワークは、ターン頻度、遮断、説明メカニズム、ユーザーの探索行動といった新たな研究仮説の生成に用いられた。

実験結果

リサーチクエスチョン

• RQ1 マルコフ連鎖、ベイズネットワーク、LSTMなどの異なるAIアルゴリズムは、共同創造システムにおける創造性と使いやすさの認識にどのように影響するか？
• RQ2 アクティブな学習や説明といったノンターンアクションの影響は、ユーザーの関与度とシステムパフォーマンスにどのような影響を及えるか？
• RQ3 元に戻すボタンの導入は、AI生成コンテンツの受容性とユーザー満足度にどのように影響するか？
• RQ4 同一のシステム設計であっても、ユーザーがAIパートナーを（友人、同僚、学生など）どのように認識するかは、どの程度異なるか？
• RQ5 ターン構造と終了条件をどのように変更すれば、共同創造体験の認識される質を向上させられるか？

主な発見

• LSTMは使いにくかったものの、ベイズネットよりも創造性が高く評価された。これは、変化頻度が低く、装飾的アクションが含まれていたため、創造性の認識が向上したと示唆される。
• マルコフ連鎖は、局所的で多様性の高いコンテンツ生成により、より興味深い小規模な特徴を生み出したため、ベイズネットよりも創造性が高いと評価された。
• 元に戻すボタンの導入により、AI生成コンテンツの受容性が平均で15%向上し、自己報告されたイライラ感も15%低下した。これは、信頼感の低下という予想とは逆の結果であった。
• 元に戻すボタンは、ディープ強化学習エージェントのノンターン学習を強化しており、明確なフィードバック信号を提供したと考えられ、シミュレーテッドパフォーマンスとユーザー報告の両方を改善した。
• 同僚として設計されたにもかかわらず、ユーザーはディープ強化学習エージェントを友人、協力者、学生、マネージャーと認識した。これは、認識が文脈およびユーザーに強く依存していることを示している。
• フレームワークは、AIエージェントの観察範囲の違い（例：マルコフ連鎖：小さなウィンドウ、ベイズネットワーク：全画面、LSTM：ほぼ全レベル）が、創造性の認識と行動に顕著な影響を与えることを明らかにした。