[論文レビュー] Understanding and Creating Art with AI: Review and Outlook

Eva Cetinić, James She|arXiv (Cornell University)|Feb 18, 2021

Aesthetic Perception and Analysis被引用数 10

ひとこと要約

本稿は、AIが芸術における二重の役割——コンピュータビジョンを用いたデジタル化された芸術作品の分析と、GAN やマルチモーダル拡散ネットワークなどの生成モデルによる新規芸術の生成——をレビューする。計算芸術分析とAI駆動の創造性の進展を統合し、解釈可能性、バイアス、著作者権に関する課題を強調しつつ、芸術史およびデジタル人文学分野における協働的ツールとしてのAIの可能性を提言する。

ABSTRACT

<br>التقنيات المتعلقة بالذكاء االصطناعي (AI ) لها تأثير قوي على تغيرات الممارسات البحثية واإلبداعية في الفنون البصرية. إن العدد المتزايد من المبادرات البحثية والتطبيقات اإلبداعية التي تظهر في تقاطع الذكاء االصطناعي والفن ، يحفزنا على فحص ومناقشة اإلمكانات اإلبداعية واالستكشافية لتقنيات الذكاء االصطناعي في سياق الفن. تقدم هذه الورقة مراجعة متكاملة لجانبين من الذكاء االصطناعي والفن: 1) استخدام الذكاء االصطناعي لتحليل الفن ومن ضمنها مجموعات األعمال الفنية الرقمية ؛ 2) استخدام الذكاء االصطناعي ألغراض إبداعية وتوليد أعمال فنية جديدة. في سياق األبحاث المتعلقة بالذكاء االصطناعي لفهم الفن ، نقدم نظرة عامة شاملة على مجموعات بيانات األعمال الفنية واألعمال الحديثة التي تتناول مجموعة متنوعة من المهام مثل التصنيف واكتشاف الكائنات واسترجاع التشابه والتمثيالت متعددة الوسائط والجماليات الحسابية وما إلى ذلك. فيما يتعلق بدور الذكاء االصطناعي في إنتاج الفن ، فإننا نتناول مختلف الجوانب العملية والنظرية لفن الذكاء االصطناعي ونجمع األعمال ذات الصلة التي تتعامل مع تلك الموضوعات بالتفصيل. أخيرا ، نقدم نظرة موجزة حول التقدم المستقبلي والتأثير المحتمل لتقنيات الذكاء االصطناعي على فهمنا للفن وصنعه.<br>This is an Arabic version of the preprint work "<b>Understanding and Creating Art with AI: Review and Outlook"</b> on ArXiv. https://arxiv.org/abs/2102.09109

研究の動機と目的

• 大規模なデジタル化された芸術コレクションとディープラーニングを用いた芸術分析におけるAI統合の検討。
• 生成モデルを通じたAIの芸術的創造可能性の調査、特に新規の芸術作品の生成に関して。
• AI生成芸術における理論的・実務的課題、特に認知バイアス、著作者権、解釈可能性の取り扱い。
• デジタル変革およびブロックチェーンの文脈において、AIが芸術史、キュレーション、芸術市場に与える影響の探求。
• デジタル人文学分野における学際的協働を重視した、AIと芸術分野における今後の研究方向性の提示。

提案手法

• デジタル化された芸術コレクションにおける自動分類、オブジェクト検出、視覚的スタイルメトリクスのため、畳み込みニューラルネットワーク（CNN）とトランスファーラーニングを活用。
• 生成対抗ネットワーク（GAN）およびマルチモーダル拡散モデルを用い、テキストまたは潜在表現から新規の視覚的芸術作品を生成。
• 小規模でドメイン特化された芸術データセットにおいてもディープラーニングを可能にするため、フェイシュート学習およびラベルが少ない技術を適用。
• テキスト、画像、文脈的メタデータを統合的に共有される意味的空間にマッピングするためのマルチモーダルアライメント技術を適用し、クロスマodal理解を実現。
• 計算芸術分析における遠隔視察（distant viewing）と詳細解釈（close reading）のアプローチを統合：遠隔視察は大規模な統計的パターンの検出に、詳細解釈は微細なスタイル分析に活用。
• 知覚的および構造的特徴に基づいて、芸術作品の評価と比較を可能にする計算芸美学および類似性検索手法を採用。

実験結果

リサーチクエスチョン

• RQ1 AIは、計算的手法を用いて、大規模なデジタル化された芸術コレクションの分析と理解をどのように向上させ得るか？
• RQ2 AIを用いた芸術生成において、特にスタイル、真正性、人的認知の観点から、主な技術的および知覚的課題は何か？
• RQ3 文化的および知覚的バイアスは、人間が制作した芸術作品と比較して、AI生成芸術の受容にどのように影響を及えるか？
• RQ4 AIは、芸術史およびデジタル人文学分野における新しい知識生成形態をどのように支援できるか？
• RQ5 AI生成芸術が著作者権、創造性、および芸術市場の今後のあり方に対して、どのような意味を持つのか？

主な発見

• 特にCNNおよびGANが、高い正確性でデジタル化された芸術コレクションにおける自動分類、オブジェクト検出、視覚的スタイルメトリクスを可能にしている。
• テキストから画像への拡散ネットワークを含むマルチモーダル生成モデルは、自然言語プロンプトから画像を生成する強力な芸術的創造ツールとして登場している。
• 知覚研究の結果、AI生成芸術に対して否定的バイアスが認められるが、中国の被験者ではより肯定的な態度が見られ、AI芸術受容における文化的差異が示唆された。
• 人工知能は、GAN生成芸術において視覚的不確実性を独自のスタイル的特徴として導入しており、特徴的な生成的特性を反映している。
• トレーニングデータに起因するAI生成パイプライン内のバイアスは、社会的・文化的な影響を及ぼし、芸術表現における歴史的不平等を助長する可能性がある。
• 特にパンデミックの影響と暗号アートおよびブロックチェーン技術の台頭により、デジタル変革に伴い、AIの芸術キュレーション、展示、販売への統合が加速している。