[논문 리뷰] Biases in Generative Art -- A Causal Look from the Lens of Art History

Ramya Srinivasan, Kanji Uchino|arXiv (Cornell University)|2020. 10. 26.

Aesthetic Perception and Analysis참고 문헌 28인용 수 9

한 줄 요약

이 논문은 예술사의 관점에서 인공지능 생성 예술의 편향을 조사하며, 인과 모델링을 통해 예술적 스타일이 어떻게 모델링되고 표현되는지에 대한 결함을 드러낸다. 스타일 전이 시스템에서의 프레임 효과, 데이터셋, 알고리즘 편향을 규명하고, 이들이 문화적·역사적 의미를 왜곡하는 방식을 보여주며, 생성형 AI 설계에서 다학제적 책임을 촉구한다.

ABSTRACT

With rapid progress in artificial intelligence (AI), popularity of generative art has grown substantially. From creating paintings to generating novel art styles, AI based generative art has showcased a variety of applications. However, there has been little focus concerning the ethical impacts of AI based generative art. In this work, we investigate biases in the generative art AI pipeline right from those that can originate due to improper problem formulation to those related to algorithm design. Viewing from the lens of art history, we discuss the socio-cultural impacts of these biases. Leveraging causal models, we highlight how current methods fall short in modeling the process of art creation and thus contribute to various types of biases. We illustrate the same through case studies, in particular those related to style transfer. To the best of our knowledge, this is the first extensive analysis that investigates biases in the generative art AI pipeline from the perspective of art history. We hope our work sparks interdisciplinary discussions related to accountability of generative art.

연구 동기 및 목표

• 생성형 예술에서의 편향이 스타일 전이 등에서 특히 두드러지는 문제 설정과 알고리즘 설계의 결함에서 비롯되는 방식을 조사하는 것.
• 이러한 편향이 예술가의 인지적 의도와 역사적 예술 운동을 잘못 표현함으로써 초래하는 사회문화적 영향을 분석하는 것.
• 현재의 AI 방법론이 데이터 및 모델 설계의 구조적 편향으로 인해 예술 창작의 진정한 과정을 모델링하지 못함을 강조하는 것.
• 예술사학자 등 도메인 전문가가 생성형 AI 파이프라인에 의미 있게 통합될 수 있도록, 다학제적 협업을 촉구하는 것.

제안 방법

• 생성 예술 파이프라인 전반에서 데이터 수집부터 모델 출력까지 편향의 인과적 경로를 추적하기 위해 구조적 인과 모델(SCM)을 적용한다.
• 특히 CycleGAN 및 StyleGAN과 같은 모델을 활용한 스타일 전이 사례 연구를 통해 각 단계에서 편향이 어떻게 발생하는지 보여준다.
• 잠재 벡터에서 '가상의 자식'을 생성하는 등의 작업을 분석함으로써 프레임 효과 편향을 분석한다. 이는 예술적·문화적 개념을 잘못 표현함을 보여준다.
• 훈련 데이터에서 다양한 예술 기법(예: 우키요에의 시점, 페르미즘 운동의 패턴 등)의 부족한 표현을 통해 데이터셋 편향을 규명한다.
• 평가 과정에서의 선택 및 혼동 요인 편향을 분석한다. 비전문가 평가자(예: Mechanical Turk 작업자)가 도메인 지식 부족과 자동화 편향으로 인해 정확하지 않은 표현을 수용할 수 있음을 고려한다.
• 모델이 특정 스타일에서 학습된 후 다양한 문화적·역사적 맥락으로 일반화되는지 평가함으로써 이식 가능성 편향을 평가한다.

실험 결과

연구 질문

• RQ1 문제 설정 단계에서 발생하는 프레임 효과 편향이 AI 생성 예술에서 예술 스타일의 표현을 어떻게 왜곡하는가?
• RQ2 훈련 데이터의 데이터셋 및 선택 편향이 예술 기법과 문화적 의미의 핵심 요소를 얼마나 제거하는가?
• RQ3 알고리즘 및 측정 편향이 예술가의 정서적·인지적 의도를 반영하는 데 있어 스타일 전이의 정확성에 어떤 영향을 미치는가?
• RQ4 역사적 예술 운동이나 정치적 주제를 잘못 표현하는 생성형 예술이 초래하는 사회문화적 결과는 무엇인가?
• RQ5 생성형 예술의 편향에 대해 누가 책임져야 하며, 예술사학자와 같은 도메인 전문가가 AI 개발 파이프라인에 어떻게 의미 있게 통합될 수 있는가?

주요 결과

• AI포트레이트와 같은 AI 초상화 생성 도구는 사람의 피부색을 밝게 조정함으로써 명백한 인종 편향을 보이며, 이는 알고리즘적·데이터 편향을 드러낸다.
• CycleGAN과 같은 스타일 전이 모델은 원본 이미지의 정서적 또는 감정적 요소를 잘 보존하지 못하는 경우가 많다. 바르크의 스타일로 변환할 때 분위기의 손실이 뚜렷하다.
• 예술 스타일은 종종 붓자국이나 색채와 같은 표면적 시각적 특징으로 단순화되며, 바르크나 세잔과 같은 예술가의 깊은 인지적·문화적 차원을 간과한다.
• 생성 모델은 종종 역사적으로 중요한 기법(예: 우키요에의 과도한 전경 축소, 페르미즘의 운동 패턴 등)을 간과하여 예술사에 대한 왜곡된 이해를 초래한다.
• 잠재 벡터에서 '가상의 자식'을 생성하는 것과 같은 복잡한 작업을 단순한 작업으로 프레임하는 것은, 특히 대상 간 생물학적 관련성이 없을 경우에 프레임 효과 편향을 유발한다.
• 비전문가 평가자에 의한 생성 예술 평가는 편향을 강화할 수 있다. 정확하지 않거나 문화적으로 오해의 소지가 있는 출력이 자동화 편향과 도메인 지식 부족으로 인해 수용될 수 있다.