[論文レビュー] Quantifying Confounding Bias in Generative Art: A Case Study

Ramya Srinivasan, Kanji Uchino|arXiv (Cornell University)|Feb 23, 2021

Generative Adversarial Networks and Image Synthesis参考文献 24被引用数 4

ひとこと要約

本稿では、スタイル変換時に芸術運動がモデル化されていない場合のAI生成アートにおける交絡バイアスを測定するため、有向非巡回グラフ（DAGs）を用いた因果的メトリクスを提案する。cycleGANに適用した結果、未モデル化された社会的・文化的要因に起因するバイアスを特定する分野で、最先端の外れ値検出法を上回る性能を示し、芸術運動を無視するとアーティストのスタイルがステレオタイプ的で不完全な表現に終わることを明らかにした。

ABSTRACT

In recent years, AI generated art has become very popular. From generating art works in the style of famous artists like Paul Cezanne and Claude Monet to simulating styles of art movements like Ukiyo-e, a variety of creative applications have been explored using AI. Looking from an art historical perspective, these applications raise some ethical questions. Can AI model artists' styles without stereotyping them? Does AI do justice to the socio-cultural nuances of art movements? In this work, we take a first step towards analyzing these issues. Leveraging directed acyclic graphs to represent potential process of art creation, we propose a simple metric to quantify confounding bias due to the lack of modeling the influence of art movements in learning artists' styles. As a case study, we consider the popular cycleGAN model and analyze confounding bias across various genres. The proposed metric is more effective than state-of-the-art outlier detection method in understanding the influence of art movements in artworks. We hope our work will elucidate important shortcomings of computationally modeling artists' styles and trigger discussions related to accountability of AI generated art.

研究の動機と目的

• 未モデル化された芸術運動がAI生成アートにどのような交絡バイアスをもたらすかを調査すること。
• 芸術運動の影響がスタイルモデリングに欠落している場合のバイアスを定量化するメトリクスを開発すること。
• cycleGANのような現在の生成モデルが、アーティストのスタイルに内在する社会的・文化的な側面を十分に捉えていないかどうかを評価すること。
• このようなバイアスが、AI生成作品の真正性、評価、芸術史的理解に与える影響を検討すること。

提案手法

• 芸術運動、アーティスト、作品特徴の間の因果的関係をモデル化するため、有向非巡回グラフ（DAG）を構築する。
• 芸術運動が観察されない場合の予測されたスタイル特徴と期待値との乖離に基づき、交絡バイアスメトリクスを定義する。
• 因果的依存関係をDAG構造で仮定し、異なるジャンルにおけるcycleGAN生成画像にメトリクスを適用する。
• バイアススコアとの比較のため、訓練中に層別損失最小化をベースラインとして用いる。
• 最先端の外れ値検出法と比較して、メトリクスの有効性を検証し、交絡された出力を特定する能力を評価する。
• 文化的・スタイル的整合性の定量化として、メトリクスを真正性評価、価格設定、芸術史的分析のツールとして提案する。

実験結果

リサーチクエスチョン

• RQ1 芸術運動のモデル化が欠落していると、AI生成アートにどのような交絡バイアスが生じるか？
• RQ2 提案されたメトリクスは、既存の外れ値検出法に比べて、バイアスをどれほど効果的に検出できるか？
• RQ3 このメトリクスは、AI生成アート作品における真正性や文化的整合性の代理指標として機能できるか？
• RQ4 インプリネイズムとポストインプリネイズムなどの異なる芸術ジャンルでは、交絡バイアスへの感受性にどのような差が生じるか？
• RQ5 バイアススコアは、芸術評価や芸術史的探求を支援するために、どのような形で活用できるか？

主な発見

• 提案された交絡バイアスメトリクスは、未モデル化された芸術運動の影響を特定する分野で、最先端の外れ値検出法を上回る性能を示した。
• 芸術運動がモデリングプロセスに含まれない場合、アーティストのスタイルは体系的に誤解され、色や筆致といった表面的特徴に基づくステレオタイプ的出力が生じる。
• メトリクスは、芸術運動が考慮されていない場合、特にインプリネイズムやポストインプリネイズムのようなジャンルで、cycleGAN生成アートに高い交絡バイアスが生じることを明らかにした。
• メトリクスは、真正性評価の補完的ツールとして利用可能であり、低いバイアススコアは、本物のアーティストのスタイルに近い生成の可能性が高くなると相関していた。
• メトリクスは、AI生成アートの文化的・歴史的整合性を定量化する基盤を提供し、クリエイティブ分野におけるより責任あるAIの実装を支援する。
• 芸術史家は、DAGに仮説を組み込み、得られたバイアススコアを分析することで、芸術運動に関する異なる見解を比較・検証できる。