[논문 리뷰] LatentAugment: Data Augmentation via Guided Manipulation of GAN's Latent Space

Lorenzo Tronchin, Minh H. Vu외 2명|arXiv (Cornell University)|2023. 07. 21.

Generative Adversarial Networks and Image SynthesisComputer Science인용 수 3

한 줄 요약

LatentAugment는 생성적 적대 신경망(GAN) 기반의 데이터 증강 방법으로, 생성기의 잠재 공간 내에서 잠재 벡터를 유도적으로 조작하여 다양성과 정밀도를 향상시킨다. 이는 MRI에서 CT로의 번역과 같은 후행 작업에서 일반화 성능을 향상시키며, 표준 데이터 증강 및 표준 GAN 샘플링보다 다양성과 모드 커버리지 측면에서 뛰어나면서도 고속 추론을 유지한다.

ABSTRACT

Data Augmentation (DA) is a technique to increase the quantity and diversity of the training data, and by that alleviate overfitting and improve generalisation. However, standard DA produces synthetic data for augmentation with limited diversity. Generative Adversarial Networks (GANs) may unlock additional information in a dataset by generating synthetic samples having the appearance of real images. However, these models struggle to simultaneously address three key requirements: fidelity and high-quality samples; diversity and mode coverage; and fast sampling. Indeed, GANs generate high-quality samples rapidly, but have poor mode coverage, limiting their adoption in DA applications. We propose LatentAugment, a DA strategy that overcomes the low diversity of GANs, opening up for use in DA applications. Without external supervision, LatentAugment modifies latent vectors and moves them into latent space regions to maximise the synthetic images' diversity and fidelity. It is also agnostic to the dataset and the downstream task. A wide set of experiments shows that LatentAugment improves the generalisation of a deep model translating from MRI-to-CT beating both standard DA as well GAN-based sampling. Moreover, still in comparison with GAN-based sampling, LatentAugment synthetic samples show superior mode coverage and diversity. Code is available at: https://github.com/ltronchin/LatentAugment.

연구 동기 및 목표

• 저데이터 환경에서의 GAN 기반 데이터 증강의 다양성 부족 문제를 해결하기 위해.
• 샘플 정밀도와 모드 커버리지 향상을 위해 샘플링 속도를 희생하지 않고 달성하기 위해.
• 다양한 데이터셋과 후행 작업에 적용 가능한 작업에 종속되지 않는 효율적인 데이터 증강 전략을 개발하기 위해.
• 잠재 공간 탐색에 초점을 맞춰 생성 학습의 삼중 과제(정밀도, 다양성, 속도)를 극복하기 위해.
• 표준 증강이나 단순한 GAN 샘플링보다 더 나은 기저 데이터 분포를 반영하는 고품질의 다양한 합성 데이터 생성을 가능하게 하기 위해.

제안 방법

• 실제 이미지의 잠재 코드에서 시작하여, 다양성과 정밀도를 극대화하는 잠재 공간 영역으로 이동시키기 위해 기울기 기반 최적화를 적용한다.
• 생성된 이미지가 의미적으로 유의미하게 다양해지면서도 의미적 내용과 스타일을 유지하도록, 지각적 및 공간적 다양성 메트릭을 최적화에 유도한다.
• 정밀도는 사전 훈련된 Inception 점수 또는 Fréchet Inception 거리(FID) 대체 지표를 통해 강제로 확보하고, 진짜성을 최대화하기 위해 판별기 점수를 사용한다.
• 이 방법은 이미지 공간 조작에 비해 계산 비용을 줄이기 위해 전적으로 잠재 공간 내에서 작동한다.
• GAN 아키텍처나 후행 작업에 종속되지 않아 광범위한 적용 가능성을 지닌다.
• 외부 감독이나 도메인 전용 증강 정책이 필요 없으며, 오직 잠재 공간 최적화에 의존한다.

Figure 1 : Intuition. Considering $\mathcal{X}$ and $\mathcal{W}$ as the data and latent space distributions, respectively. In panel (a), we denote with blue stars the encoded real images. Panel (b). The standard SG2 DA procedure does not provide any guide to the generation process. Thus random late

실험 결과

연구 질문

• RQ1 GAN 내에서 유도된 잠재 공간 조작이 데이터 증강을 위한 합성 데이터의 다양성과 모드 커버리지에 뚜렷한 향상을 이끌 수 있는가?
• RQ2 제안된 방법이 후행 모델의 일반화 성능 측면에서 표준 데이터 증강 및 표준 GAN 샘플링을 능가하는가?
• RQ3 추론 시간을 증가시키지 않고도 고정밀도, 현실적인 샘플을 유지하면서도 뛰어난 다양성을 달성할 수 있는가?
• RQ4 특정 작업에 맞게 튜닝이 필요 없이 다양한 데이터셋과 후행 작업에서 안정적이고 효과적인가?
• RQ5 데이터 증강 측면에서 디퓨전 모델과 비교해 생성 속도와 품질 측면에서 어떻게 다른가?

주요 결과

• LatentAugment는 MRI에서 CT로의 번역 작업에서 딥러닝 모델의 일반화 성능을 향상시켜 표준 데이터 증강 및 표준 GAN 기반 샘플링을 모두 능가했다.
• 표준 GAN 샘플링 대비 높은 정밀도와 재현율을 기록하여, 생성된 샘플의 모드 커버리지와 다양성이 뛰어났다.
• LatentAugment로 생성된 이미지는 실제 이미지의 더 매끄럽고 현실적인 변형을 보였으며, 주요 구조와 질감을 유지하면서도 의미 있는 다양성을 도입했다.
• 고속 추론을 유지했으며, 표준 GAN 샘플링과 유사한 처리량을 기록했고, 디퓨전 모델보다는 훨씬 빠른 속도를 보였다.
• 표준 GAN 샘플링 대비 분포 외 샘플 생성을 줄여 데이터 품질과 내부 분포 커버리지가 향상되었다.
• 도메인 지식이나 작업에 특화된 튜닝 없이도 효과적이었으며, 다양한 데이터셋과 작업에 걸쳐 광범위한 적용 가능성을 입증했다.

Figure 2 : High-level schematic representation of LatentAugment policy (dashed rectangle). It first retrieves the latent code $w^{*}$ of the image $x$ we aim to augment. Then for each iteration $k$ of the procedure, we manipulate $w^{k}$ minimising the loss $\mathcal{L}(w^{k})$ , which is given by a