[論文レビュー] Dialog on a canvas with a machine

Vivien Cabannes, Thomas Kerdreux+3 more|arXiv (Cornell University)|Oct 10, 2019

Artificial Intelligence in Games参考文献 7被引用数 7

ひとこと要約

本論文は、リアルタイムでの画像撮影、ニューラルスケッチ生成、動的プロジェクションを用いて、共有のキャンバスに青色の新しいスティックを提案することで、AIシステムが人間と機械の創造的対話において第三のプレイヤーとして機能する、インタラクティブで身体的実体を持つアートインスタレーションを紹介する。このシステムは、進化する絵画を分析し、AIが生成した追加を投影することで共同創造を促進し、即時の作品と長期的な芸術的スタイルに影響を与える、新たな芸術的成果を生み出す。

ABSTRACT

We propose a new form of human-machine interaction. It is a pictorial game consisting of interactive rounds of creation between artists and a machine. They repetitively paint one after the other. At its rounds, the computer partially completes the drawing using machine learning algorithms, and projects its additions directly on the canvas, which the artists are free to insert or modify. Alongside fostering creativity, the process is designed to question the growing interaction between humans and machines.

研究の動機と目的

• リアルタイムの視覚的創造において、AIを共同創造者として統合する人間-機械インタラクティブアートシステムを設計すること。
• AIが生成する提案が人間の芸術的表現および創造的意思決定に与える影響を調査すること。
• 明確な視覚的マーカー（青色のスティック）を用いて、AIの影響が芸術的プロセスにどのように明示的かつ認識可能になるかを明らかにすること。
• 人間-AIの創造的パートナーシップにおける協働、制約、インスピレーションの動的な変化を探索すること。
• 物理的でリアルタイムの反応が可能な、スタジオで利用可能な堅牢なシステムを構築し、進化する物理的絵画に応じて反応できること。

提案手法

• カメラが物理的キャンバスの現在の状態をリアルタイムでキャプチャし、照明の変化に対しても耐性を持つ。
• 事前処理パイプラインが、キャプチャされた画像から可視のスティック（黒、赤、緑）を抽出・符号化する。
• 再帰的ニューラルネットワークに基づくニューラルスケッチャーが、スティックの途切れを含む2次元座標の系列を用いて、新しいスティック系列を生成する。
• 生成されたスティックは後処理を経て、キャリブレーション済みのプロジェクタを用いてリアルタイムでキャンバスに再投影される。
• システムはQuickDrawデータセットで学習され、さらにアーティストの過去のスケッチを収集したプライベートデータセットで微調整され、彼らの視覚的スタイルに一致するよう調整される。
• AIの貢献は青色で描かれるため、人間が描いた赤や緑のスティックとは明確に区別される。

実験結果

リサーチクエスチョン

• RQ1 AIを第三の創造的エージェントとして統合することで、人間の芸術的協働のダイナミクスにどのような影響が生じるか？
• RQ2 AIが生成する提案が、人間のアーティストが独自に思いつかなかった新たな芸術的方向性をどれほどインスパイアするか？
• RQ3 創造的プロセス中に、アーティストはAIの役割をどのように認識するか—協働パートナー、制約、あるいは破壊的要因として？
• RQ4 AIの干渉が、人間のみによる創作と比較して、芸術作品の視覚的および概念的結果にどのような変化をもたらすか？
• RQ5 物理的でインタラクティブなリアルタイムシステムが、AIの貢献を明確に可視化することで、人間と機械の共同創造についてより深い考察を促すことができるか？

主な発見

• アーティストたちは、AIが生成したスティックを予想外で、かつインスピレーションに満ちたものと感じ取り、自分たちが単独で進んでいかなかった新たな創造的道筋を示唆されたと報告した。
• アーティストたちは、AIを一貫して制約的だと感じると同時に、魔法的だと感じることもあり、日常におけるAIの二面性を反映していた。
• AIの影響は個々の作品を越えて及ぼされ、その後の機械非使用の作品においても、アーティストの長期的な視覚的スタイルにわずかだが変化をもたらした。
• システムは、さまざまな照明条件下でも視覚的整合性と耐性を維持できており、スムーズなスタジオ統合を可能にした。
• AIの貢献に明確な青色のスティックを使用することで、機械の影響が明確に視覚的に追跡可能となり、AIの役割に関する透明性と自己認識が向上した。
• このインスタレーションは、リアルタイムで身体的実体を持つAIとの対話が、AIの影響を明示的かつ分析可能にしながら、意味のある共同創造を支援できることを示した。