[논문 리뷰] DeepfakeArt Challenge: A Benchmark Dataset for Generative AI Art Forgery and Data Poisoning Detection

Hossein Aboutalebi, Daniel Mao외 4명|arXiv (Cornell University)|2023. 06. 02.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 생성형 AI 예술 위조 및 데이터 중상 공격을 탐지하기 위한 대규모 벤치마크 데이터셋인 DeepfakeArt 챌린지를 소개한다. 32,000개가 넘는 이미지 쌍으로 구성된 이 데이터셋은 다양한 기법—적대적 공격, 스타일 전이, Cutmix—을 활용하며 철저한 품질 관리를 통해 생성형 AI 시스템에서의 저작권 침해 및 모델 중상 공격에 대한 강력한 탐지 모델 개발을 지원한다.

ABSTRACT

The tremendous recent advances in generative artificial intelligence techniques have led to significant successes and promise in a wide range of different applications ranging from conversational agents and textual content generation to voice and visual synthesis. Amid the rise in generative AI and its increasing widespread adoption, there has been significant growing concern over the use of generative AI for malicious purposes. In the realm of visual content synthesis using generative AI, key areas of significant concern has been image forgery (e.g., generation of images containing or derived from copyright content), and data poisoning (i.e., generation of adversarially contaminated images). Motivated to address these key concerns to encourage responsible generative AI, we introduce the DeepfakeArt Challenge, a large-scale challenge benchmark dataset designed specifically to aid in the building of machine learning algorithms for generative AI art forgery and data poisoning detection. Comprising of over 32,000 records across a variety of generative forgery and data poisoning techniques, each entry consists of a pair of images that are either forgeries / adversarially contaminated or not. Each of the generated images in the DeepfakeArt Challenge benchmark dataset \footnote{The link to the dataset: http://anon\_for\_review.com} has been quality checked in a comprehensive manner.

연구 동기 및 목표

• 시각적 콘텐츠에서 생성형 AI 오용 증가에 대응하여 특히 예술 위조 및 데이터 중상 공격의 위협을 해결한다.
• AI 생성 위조 탐지 모델 평가 및 개선을 위한 표준화되고 고품질의 벤치마크를 제공한다.
• 저작권 침해 콘텐츠 및 적대적으로 중상된 학습 데이터 탐지 기능을 통해 책임감 있는 AI 개발을 지원한다.
• GenAI4Good 이니셔티브를 통해 개방형 연구를 촉진하고 생성형 AI의 윤리적이고 투명한 활용을 장려한다.
• 악성 사용 위험을 완화하기 위해 도메인에 맞는 탐지 전략을 회피하는 기법들을 대비해 정기적으로 데이터셋을 업데이트한다.

제안 방법

• 다양한 생성 위조 기법을 사용하여 32,000개의 이미지 쌍으로 구성된 코호트를 선별적으로 구축하였으며, 각 이미지 쌍은 위조 또는 청소된 상태로 레이블링되었다.
• 원본 이미지에 대해 적대적 공격(FGSM, PGD, APGD)을 적용하여 눈에 띄지 않는 변형을 생성함으로써 데이터 중상 공격 탐지에 활용하였다.
• WikiArt 데이터셋 내에서 소스 이미지에서 무작위로 영역을 추출하고 타겟 이미지에 겹쳐붙이는 방식으로 Cutmix 기법을 구현하였다.
• 특정 예술가의 스타일을 모방하는 스타일 전이 방법을 적용하여 저작권 기반 위조를 시뮬레이션하였다.
• 모든 생성 샘플에 대해 종합적인 수동 및 자동 검증을 통해 데이터 품질을 확보하였다.
• 적대적 공격, 스타일 전이, Cutmix, 청소된 이미지 등으로 분류하여 데이터셋을 조직하여 타겟된 평가를 가능하게 하였다.

실험 결과

연구 질문

• RQ1 현재의 기계학습 모델은 저작권 침해 콘텐츠를 모방하는 AI 생성 예술 위조를 얼마나 효과적으로 탐지할 수 있는가?
• RQ2 적대적 데이터 중상 공격 기법은 얼마나 시각적으로 눈에 띄지 않게 유지하면서도 탐지 회피에 성공할 수 있는가?
• RQ3 통합된 벤치마크 데이터셋은 다양한 위조 기법에 걸쳐 탐지 모델의 일반화 능력과 강건성을 향상시킬 수 있는가?
• RQ4 다양한 데이터 중상 방법(FGSM, PGD, Cutmix 등)은 모델 성능과 탐지 정확도에 어떤 영향을 미치는가?
• RQ5 개방형이고 정기적으로 업데이트되는 벤치마크 데이터셋은 생성형 AI의 악성 사용을 어떻게 완화할 수 있는가?

주요 결과

• DeepfakeArt 챌린지 데이터셋은 32,000개가 넘는 고품질 이미지 쌍을 포함하고 있으며, 적대적 공격 분류에는 2,730건, Cutmix 분류에는 2,000건의 레코드가 포함되어 있다.
• FGSM, PGD, APGD와 같은 적대적 공격은 시각적 정밀도를 유지하면서도 모델 예측을 변경하는 눈에 띄지 않는 변형을 성공적으로 생성하였다.
• Cutmix 기법은 소스 및 타겟 이미지의 영역을 조합하여 하이브리드 이미지를 효과적으로 생성하여 디퓨전 모델에서의 데이터 복제를 시뮬레이션하였다.
• 스타일 전이 기반 위조는 원본 예술가의 작품과 높은 시각적 유사성을 보였으며, 이는 탐지 시스템에 상당한 도전 과제를 제기하였다.
• 이 데이터셋은 데이터 오염 및 스타일 모방을 포함한 다양한 위조 유형에 대한 탐지 모델 평가를 가능하게 하였다.
• 이 데이터셋은 탐지 전략의 회피 기법에 대응하기 위해 정기적인 업데이트를 통해 반복적 개선이 가능하도록 설계되어 있으며, 탐지의 관련성을 유지한다.