[논문 리뷰] AI-Generated Images as Data Source: The Dawn of Synthetic Era

Zuhao Yang, Fangneng Zhan외 3명|arXiv (Cornell University)|2023. 10. 03.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 시각지능 작업을 위한 확장 가능하고 프라이버시를 보장하며 고성능인 훈련 데이터로써 고급 생성 모델(예: 확산 모델 및 GAN)에서 생성된 합성 이미지를 데이터 소스로 활용하는 AI-Generated Images as Data Sources (AIGS)를 제안한다. 주요 기여는 AIGS가 데이터 부족 문제를 해결하고, 애너테이션 비용을 줄이며, 컴퓨터 비전 응용 분야에서 모델의 일반화 능력을 향상시키는 잠재력을 종합적으로 분석한 데 있다. 동시에 평가, 해석 가능성, 3D 인지 능력 측면에서의 핵심 과제를 규명하였다.

ABSTRACT

The advancement of visual intelligence is intrinsically tethered to the availability of large-scale data. In parallel, generative Artificial Intelligence (AI) has unlocked the potential to create synthetic images that closely resemble real-world photographs. This prompts a compelling inquiry: how much visual intelligence could benefit from the advance of generative AI? This paper explores the innovative concept of harnessing these AI-generated images as new data sources, reshaping traditional modeling paradigms in visual intelligence. In contrast to real data, AI-generated data exhibit remarkable advantages, including unmatched abundance and scalability, the rapid generation of vast datasets, and the effortless simulation of edge cases. Built on the success of generative AI models, we examine the potential of their generated data in a range of applications, from training machine learning models to simulating scenarios for computational modeling, testing, and validation. We probe the technological foundations that support this groundbreaking use of generative AI, engaging in an in-depth discussion on the ethical, legal, and practical considerations that accompany this transformative paradigm shift. Through an exhaustive survey of current technologies and applications, this paper presents a comprehensive view of the synthetic era in visual intelligence. A project associated with this paper can be found at https://github.com/mwxely/AIGS .

연구 동기 및 목표

• 시각지능 분야에서 AI 생성 이미지를 훈련 및 테스트 데이터로 사용하는 것의 가능성과 이점을 조사하는 것.
• 높은 애너테이션 비용, 데이터 부족, 프라이버시 우려 등의 문제를 야기하는 전통적 데이터 수집 방식의 한계를 해결하는 것.
• 특히 확산 모델과 GAN을 포함한 생성 모델이 고해상도, 고성능의 확장 가능한 합성 데이터를 생성하는 데서 수행하는 역할을 분석하는 것.
• 객체 검출, 세그먼테이션, 깊이 추정, 자율주행 시뮬레이션과 같은 최종 응용 분야에서 AIGS의 영향을 검토하는 것.
• 향후 연구를 위한 평가 지표, 모델의 해석 가능성, 3D 인지 생성에서의 열린 과제를 규명하는 것.

제안 방법

• 확산 모델과 GAN을 활용해 제어 가능한 의미론과 다양한 특성을 지닌 고해상도, 사진처럼 사실적인 이미지를 생성하는 것.
• 신경 렌더링과 함께 신경 레인지 필드(NeRF)를 사용해 기하학적 민감도가 요구되는 작업을 위한 다중 시점 일致성 있는 3D 인지 이미지를 합성하는 것.
• CLIP 기반 정렬을 활용한 텍스트-이미지(T2I) 모델을 적용해 프롬프트와 생성된 이미지 간의 의미 일치도를 보장하는 것.
• 생성 모델의 잠재 공간 조작과 프롬프트 엔지니어링을 통해 자동으로 레이블을 확보하는 것.
• 엣지 케이스와 희귀 시나리오를 포함한 프롬프트 기반 데이터 증강을 통한 합성 데이터셋 설계.
• 모델 검증, 강건성 테스트, 도메인 일반화를 위한 벤치마킹 파이프라인에 AIGS 통합.

실험 결과

연구 질문

• RQ1 AI 생성 이미지가 시각지능 작업을 위한 딥러닝 모델 훈련에서 실제 세계 데이터를 얼마나 대체할 수 있는가?
• RQ2 AIGS 기반 데이터셋은 다양한 시각 작업에서 모델의 일반화 능력, 강건성, 성능 측면에서 실제 데이터와 비교해 어떻게 다른가?
• RQ3 현재 AI 생성 이미지 평가 지표의 핵심 한계는 무엇이며, 신뢰할 수 있는 평가를 위해 어떻게 개선할 수 있는가?
• RQ4 3D 인지 생성 모델을 활용한 AIGS는 자율주행 및 로봇 공학 등 응용 분야에서 합성 데이터의 현실감과 유용성을 어떻게 향상시킬 수 있는가?
• RQ5 실제 AI 시스템에 AIGS를 구현할 경우 발생하는 윤리적, 법적, 해석 가능성 문제는 무엇인가?

주요 결과

• AIGS는 데이터 수집 및 애너테이션 비용을 크게 줄이며, 대규모, 다양한, 엣지 케이스가 풍부한 데이터셋을 신속하게 생성할 수 있게 한다.
• 확산 모델과 GAN에서 생성된 AI 생성 이미지는 그래픽 엔진 기반 합성 데이터에 비해 더 작은 도메인 갭을 보이며, 이는 모델의 일반화 능력을 향상시킨다.
• 사전 학습된 CLIP와 드림심(DreamSim)과 같은 인지적 메트릭을 활용하면 이미지-텍스트 정렬도와 시각적 품질 평가가 더 정확해진다.
• 진전이 있었음에도 불구하고, 현재 AIGS 방법은 이상치 및 극단적 케이스에 대한 해석 가능성에 빈곤하여, 향후 개선이 필요한 해석 가능성 프레임워크가 필요하다는 점을 시사한다.
• NeRF와 신경 렌더링을 활용한 3D 인지 AIGS는 가능성은 있으나, 포즈 없는 2D 이미지에서 복잡한 시(scene) 기하학을 학습하는 데 어려움이 존재해 제한되어 있다.
• AIGS의 확장성과 제어 가능성 덕분에 의료 영상 및 자율주행 시스템과 같은 데이터 부족 분야에서 혁신적인 패러다임으로 자리매김할 수 있다.