[논문 리뷰] DreamDA: Generative Data Augmentation with Diffusion Models

Yunxiang Fu, Chaoqi Chen외 2명|arXiv (Cornell University)|2024. 03. 19.

Big Data Technologies and ApplicationsDecision Sciences인용 수 3

한 줄 요약

DreamDA는 사전 훈련된 확산 모델을 활용하여 실제 훈련 이미지의 역확산 과정을 변형시켜 다양하고 고해상도의 이미지를 생성하는 새로운 생성적 데이터 증강 프레임워크를 제안한다. 동시에 신뢰할 수 있는 가짜 레이블을 생성하기 위해 자가 훈련 파라다임(AMST)을 도입한다. 이는 네 가지 작업과 다섯 개인 데이터셋에서 일관된 정확도 향상을 이끌어내며, 자연 이미지 데이터셋에서 훈련을 처음부터 시작할 경우 기존 강력한 베이스라인보다 7.4% 이상 뛰어나다.

ABSTRACT

The acquisition of large-scale, high-quality data is a resource-intensive and time-consuming endeavor. Compared to conventional Data Augmentation (DA) techniques (e.g. cropping and rotation), exploiting prevailing diffusion models for data generation has received scant attention in classification tasks. Existing generative DA methods either inadequately bridge the domain gap between real-world and synthesized images, or inherently suffer from a lack of diversity. To solve these issues, this paper proposes a new classification-oriented framework DreamDA, which enables data synthesis and label generation by way of diffusion models. DreamDA generates diverse samples that adhere to the original data distribution by considering training images in the original data as seeds and perturbing their reverse diffusion process. In addition, since the labels of the generated data may not align with the labels of their corresponding seed images, we introduce a self-training paradigm for generating pseudo labels and training classifiers using the synthesized data. Extensive experiments across four tasks and five datasets demonstrate consistent improvements over strong baselines, revealing the efficacy of DreamDA in synthesizing high-quality and diverse images with accurate labels. Our code will be available at https://github.com/yunxiangfu2001/DreamDA.

연구 동기 및 목표

• 기존의 전통적 데이터 증강 방법과 생성적 DA 방법의 한계를 해결하기 위해, 도메인 갭을 메우지 못하거나 다양성이 떨어지는 문제를 해결한다.
• 사전 훈련된 확산 모델을 활용해 원래 데이터 분포를 따르는 고해상도이고 다양한 이미지 합성을 가능하게 한다.
• 확산 과정 중 발생하는 의미적 이탈으로 인해 생기는 생성된 데이터의 레이블 불일치 문제를 일관성과 신뢰도 제약 조건을 갖춘 강력한 자가 훈련 프레임워크로 해결한다.
• 훈련에서 처음부터 시작하거나 미세조정 설정을 모두 포함한 다양한 비전 작업과 데이터셋에서 일관된 성능 향상을 입증한다.

제안 방법

• 각 복원 단계에서 U-넷의 볼트넥 레이어에 가우시안 노이즈를 주입하여 실제 이미지의 역확산 과정을 변형시켜 다양하면서도 현실적인 이미지 생성을 가능하게 한다.
• 실제 훈련 이미지를 시드로 사용하여 확산 과정을 안내함으로써 생성된 샘플이 원래 데이터 분포 내에 머물도록 보장한다.
• 다중 분류기 헤드 간 일관성과 신뢰도 제약 조건을 강제하는 비대칭 다중 헤드 자가 훈련(AMST)을 도입하여 신뢰할 수 있는 가짜 레이블을 생성한다.
• 유사한 데이터 포인트에 대해 예측이 일관되도록 하는 일관성 정규화 손실을 적용하여, 레이블이 불확실한 경우에도 예측 일관성을 유도한다.
• 공유된 특징과 별도의 헤드를 갖춘 다중 헤드 아키텍처를 사용하여 가짜 레이블 예측의 강건성과 일반화 능력을 향상시킨다.
• 훈련 중 실재 데이터와 합성 데이터를 결합하여 최소한의 계산 오버헤드로 종속적인 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 U-넷 볼트넥 레이어에 노이즈 주입을 통해 실제 이미지의 역확산 과정을 변형시키면, 원래 데이터 분포를 따르는 다양하고 고해상도의 이미지를 생성할 수 있는가?
• RQ2 확산 과정 중 발생하는 의미적 이탈으로 인해 생성된 이미지의 레이블 불일치 문제를 훈련 중에 효과적으로 완화할 수 있는가?
• RQ3 제안된 비대칭 다중 헤드 자가 훈련(AMST) 프레임워크는 표준 가짜 레이블링 방법보다 정확도와 강건성 측면에서 뛰어나게 성능을 발휘하는가?
• RQ4 이미지의 해상도와 다양성을 균형 있게 확보하기 위해 확산 과정을 훼손할 최적의 위치와 노이즈 스케일은 무엇인가?
• RQ5 DreamDA는 훈련에서 처음부터 시작하거나 미세조정 시나리오 모두에서 다양한 비전 작업과 데이터셋에서 일관된 성능 향상을 달성할 수 있는가?

주요 결과

• DreamDA는 자연 이미지 데이터셋에서 훈련을 처음부터 시작할 경우 실재 데이터만을 사용하는 경우보다 정확도를 41% 이상 향상시킨다.
• 사전 훈련된 모델을 사용할 경우, 원본 실재 데이터셋 대비 정확도를 4% 향상시켜 뛰어난 전이 성능를 입증한다.
• 자연 이미지 데이터셋에서 훈련을 처음부터 시작할 경우, 가장 강력한 확산 기반 DA 베이스라인보다 7.4% 높은 성능을 기록한다.
• 상태의 기준 FID 및 MMD 점수를 달성하여 생성된 이미지의 분포 유사성과 다양성이 뛰어나다는 것을 입증한다.
• 제거 실험 결과 잠재 공간의 변형과 AMST 모두 필수적임을 확인하였으며, 각각 제거 시 성능이 5.6%와 2.4%씩 저하된다.
• 최적의 노이즈 스케일은 3이며, U-넷 볼트넥 레이어에 노이즈를 주입할 경우 다른 위치에 주입하는 것보다 성능이 뛰어나다.