[논문 리뷰] Quantifying Confounding Bias in Generative Art: A Case Study

Ramya Srinivasan, Kanji Uchino|arXiv (Cornell University)|2021. 02. 23.

Generative Adversarial Networks and Image Synthesis참고 문헌 24인용 수 4

한 줄 요약

이 논문은 스타일 전이 과정에서 예술 운동이 모델링되지 않을 경우 인공지능 생성 예술에서의 혼동 변수 편향을 정량화하기 위해 방향성 비순환 그래프(DAGs)를 사용하는 인과적 지표를 제안한다. cycleGAN에 적용했을 때, 이 지표는 상태의 기술보다 우수한 이상치 탐지 성능을 보이며, 예술 운동을 忽시할 경우 예술가 스타일의 정형화되고 불완전한 표현이 생김을 드러낸다.

ABSTRACT

In recent years, AI generated art has become very popular. From generating art works in the style of famous artists like Paul Cezanne and Claude Monet to simulating styles of art movements like Ukiyo-e, a variety of creative applications have been explored using AI. Looking from an art historical perspective, these applications raise some ethical questions. Can AI model artists' styles without stereotyping them? Does AI do justice to the socio-cultural nuances of art movements? In this work, we take a first step towards analyzing these issues. Leveraging directed acyclic graphs to represent potential process of art creation, we propose a simple metric to quantify confounding bias due to the lack of modeling the influence of art movements in learning artists' styles. As a case study, we consider the popular cycleGAN model and analyze confounding bias across various genres. The proposed metric is more effective than state-of-the-art outlier detection method in understanding the influence of art movements in artworks. We hope our work will elucidate important shortcomings of computationally modeling artists' styles and trigger discussions related to accountability of AI generated art.

연구 동기 및 목표

• 모델링되지 않은 예술 운동이 AI 생성 예술에 혼동 변수 편향을 유도하는 방식을 조사하는 것.
• 예술 운동 영향이 스타일 모델링에서 누락되었을 때 발생하는 편향을 측정하기 위한 정량적 지표를 개발하는 것.
• 현재의 생성 모델들(예: cycleGAN)이 예술가 스타일의 사회문화적 미묘한 특징을 제대로 포착하지 못하는지 평가하는 것.
• 이러한 편향이 AI 생성 예술작품의 진정성, 평가, 미술사적 이해에 미치는 영향을 탐색하는 것.

제안 방법

• 예술 운동, 예술가, 작품 특성 간의 인과 관계를 모델링하기 위해 방향성 비순환 그래프(DAG)를 구성한다.
• 예술 운동이 관측되지 않았을 때 예측된 스타일 특징가 기대값에서 벗어남에 따라 혼동 변수 편향 지표를 정의한다.
• DAG 기반의 인과적 의존성 가정을 바탕으로 다양한 장르에서 cycleGAN가 생성한 이미지에 지표를 적용한다.
• 편향 점수를 비교하기 위한 기준으로 학습 중에 계층화된 손실 최소화를 사용한다.
• 지표의 효과성을 평가하기 위해 최신 이상치 탐지 방법과의 비교를 통해 검증한다.
• 문화적 및 스타일적 충실도를 정량화함으로써 진위성 평가, 가격 책정, 미술사적 분석에 도구로 제안한다.

실험 결과

연구 질문

• RQ1 예술 운동 모델링이 누락되었을 경우 AI 생성 예술에서 어떤 방식으로 혼동 변수 편향이 유도되는가?
• RQ2 제안된 지표가 기존 이상치 탐지 방법보다 편향을 얼마나 더 효과적으로 탐지하는가?
• RQ3 이 지표는 AI 생성 예술작품의 진정성 또는 문화적 충실도의 대체 지표로 활용될 수 있는가?
• RQ4 다양한 예술 장르(예: 인상파 대비 후기 인상파)는 혼동 변수 편향에 얼마나 다른 민감도를 보이는가?
• RQ5 편향 점수는 예술 평가나 예술사 연구에 어떻게 기여할 수 있는가?

주요 결과

• 제안된 혼동 변수 편향 지표는 모델링되지 않은 예술 운동의 영향을 AI 생성 예술작품에 대해 탐지하는 데서 최신 이상치 탐지 기법보다 뛰어난 성능을 보였다.
• 예술 운동이 모델링에서 생략될 경우, 예술가 스타일이 체계적으로 잘못 표현되며, 색채나 브러시워크와 같은 표면적 특징에 기반한 정형화된 출력이 발생한다.
• 지표는 예술 운동이 고려되지 않을 경우, 특히 인상파 및 후기 인상파 장르에서 cycleGAN가 생성한 예술작품이 더 높은 혼동 변수 편향을 보임을 드러냈다.
• 이 지표는 낮은 편향 점수와 함께 진정한 예술가 스타일 생성 가능성이 높다는 점을 반영함으로써 예술 진위성 평가의 보조 도구로 사용될 수 있다.
• 지표는 AI 생성 예술의 문화적 및 역사적 충실도를 정량화하는 기초를 제공하며, 창작 응용 분야에서 더 책임감 있는 AI 활용을 지원한다.
• 미술사학자들은 DAG에 그들의 가정을 반영하고 결과 편향 점수를 분석함으로써 예술 운동에 대한 다양한 관점을 비교하고 검증하는 데 지표를 활용할 수 있다.