[논문 리뷰] Understanding and Creating Art with AI: Review and Outlook

Eva Cetinić, James She|arXiv (Cornell University)|2021. 02. 18.

Aesthetic Perception and Analysis인용 수 10

한 줄 요약

이 논문은 예술에서 인공지능의 双중 역할을 검토한다: 컴퓨터 시각 기술을 활용해 디지털화된 예술 작품을 분석하고, GAN 및 다중모달 확산 네트워크와 같은 생성 모델을 통해 새로운 예술을 생성하는 것이다. 이는 계산 기반 예술 분석과 인공지능 기반 창의성의 발전을 통합하며, 해석 가능성, 편향, 저작권 문제와 같은 과제를 부각하면서도, 예술사와 디지털 humanitities 분야에서 인공지능을 협업 도구로 활용할 것을 주장한다.

ABSTRACT

<br>التقنيات المتعلقة بالذكاء االصطناعي (AI ) لها تأثير قوي على تغيرات الممارسات البحثية واإلبداعية في الفنون البصرية. إن العدد المتزايد من المبادرات البحثية والتطبيقات اإلبداعية التي تظهر في تقاطع الذكاء االصطناعي والفن ، يحفزنا على فحص ومناقشة اإلمكانات اإلبداعية واالستكشافية لتقنيات الذكاء االصطناعي في سياق الفن. تقدم هذه الورقة مراجعة متكاملة لجانبين من الذكاء االصطناعي والفن: 1) استخدام الذكاء االصطناعي لتحليل الفن ومن ضمنها مجموعات األعمال الفنية الرقمية ؛ 2) استخدام الذكاء االصطناعي ألغراض إبداعية وتوليد أعمال فنية جديدة. في سياق األبحاث المتعلقة بالذكاء االصطناعي لفهم الفن ، نقدم نظرة عامة شاملة على مجموعات بيانات األعمال الفنية واألعمال الحديثة التي تتناول مجموعة متنوعة من المهام مثل التصنيف واكتشاف الكائنات واسترجاع التشابه والتمثيالت متعددة الوسائط والجماليات الحسابية وما إلى ذلك. فيما يتعلق بدور الذكاء االصطناعي في إنتاج الفن ، فإننا نتناول مختلف الجوانب العملية والنظرية لفن الذكاء االصطناعي ونجمع األعمال ذات الصلة التي تتعامل مع تلك الموضوعات بالتفصيل. أخيرا ، نقدم نظرة موجزة حول التقدم المستقبلي والتأثير المحتمل لتقنيات الذكاء االصطناعي على فهمنا للفن وصنعه.<br>This is an Arabic version of the preprint work "<b>Understanding and Creating Art with AI: Review and Outlook"</b> on ArXiv. https://arxiv.org/abs/2102.09109

연구 동기 및 목표

• 대규모 디지털화된 예술 자료집과 딥러닝을 활용한 예술 분석에 있어서 인공지능의 통합을 검토하기 위해.
• 생성 모델을 통해 새로운 예술 작품을 생성하는 데 있어서 인공지능의 창의적 잠재력을 조사하기 위해.
• 인공지능 기반 예술에서의 이론적 및 실용적 과제, 특히 인지 편향, 저작권, 해석 가능성 문제를 다루기 위해.
• 디지털 전환과 블록체인 기술의 맥락에서 예술사, 큐레이션, 예술 시장에 인공지능이 미치는 영향을 탐색하기 위해.
• 디지털 인문학 분야에서의 상호학습을 강조하는 바탕으로, 향후 연구 방향을 요약하기 위해.

제안 방법

• 디지털화된 예술 자료집에서 자동 분류, 물체 검출, 시각적 스타일로미터를 위해 합성곱 신경망(CNN)과 전이 학습을 활용한다.
• 텍스트 또는 잠재 표현에서부터 새로운 시각적 예술 작품을 생성하기 위해 생성적 적대 신경망(GANs)과 다중모달 확산 모델을 적용한다.
• 소규모이자 도메인 특화된 예술 데이터셋에서 딥러닝을 가능하게 하기 위해 소수의 샘플 학습과 레이블 부족 기법을 활용한다.
• 텍스트, 이미지, 맥락적 메타데이터를 동일한 의미 공간에 매핑하기 위해 다중모달 정렬 기법을 통합하여 다중모달 이해를 구현한다.
• 계산 기반 예술 분석에서 원거리 관찰과 정밀 독해 접근 방식을 통합한다: 원거리 관찰은 대규모 통계 패턴 탐지에, 정밀 독해는 세밀한 스타일 분석에 활용된다.
• 지각적 및 구조적 특징을 바탕으로 예술 작품을 평가하고 비교하기 위해 계산 기반 미학과 유사도 검색 방법을 적용한다.

실험 결과

연구 질문

• RQ1 계산 기반 방법을 통해 인공지능은 대규모 디지털화된 예술 자료집의 분석과 이해를 어떻게 향상시킬 수 있는가?
• RQ2 스타일, 진정성, 인간의 인지 능력 측면에서 볼 때, 인공지능을 이용한 예술 생성의 주요 기술적 및 지각적 과제는 무엇인가?
• RQ3 문화적 및 지각적 편향은 인간이 창작한 예술과 비교해 인공지능이 생성한 예술의 수용에 어떻게 영향을 미치는가?
• RQ4 인공지능은 예술사와 디지털 인문학 분야에서 새로운 형태의 지식 생성을 어떻게 지원할 수 있는가?
• RQ5 인공지능 기반 예술은 저작권, 창의성, 그리고 예술 시장의 미래에 대해 어떤 함의를 지닌다?

주요 결과

• 특히 CNN과 GAN을 포함한 인공지능 모델은 높은 정확도로 디지털화된 예술 자료집에서 자동 분류, 물체 검출, 시각적 스타일로미터를 가능하게 한다.
• 텍스트-이미지 확산 네트워크와 같은 다중모달 생성 모델은 자연어 프롬프트에서부터 이미지를 생성할 수 있도록 하여 예술 창작의 강력한 도구로 부상하고 있다.
• 지각 연구 결과, 인공지능이 생성한 예술에 대해 부정적인 편향이 존재하지만, 중국인 참가자들은 더 긍정적인 태도를 보이며, 이는 인공지능 예술 수용에 있어 문화적 다양성이 있음을 시사한다.
• 인공지능은 GAN 생성 예술에서 시각적 불확실성이라는 고유한 스타일적 특징을 도입하며, 이는 독특한 생성 특성을 반영한다.
• 학습 데이터에서 기인하는 인공지능 생성 파이프라인 내 편향은 사회문화적 함의를 지니며, 과거의 불평등한 예술 표현을 유지할 수 있다.
• 특히 패닉과 암호 예술 및 블록체인 기술의 확산으로 인해 디지털 전환의 영향을 받아, 인공지능이 예술 큐레이션, 전시, 판매 분야에 빠르게 통합되고 있다.