[論文レビュー] LatentAugment: Data Augmentation via Guided Manipulation of GAN's Latent Space

Lorenzo Tronchin, Minh H. Vu+2 more|arXiv (Cornell University)|Jul 21, 2023

Generative Adversarial Networks and Image SynthesisComputer Science被引用数 3

ひとこと要約

LatentAugmentは、生成器の潜在空間における潜在ベクトルのガイド付き操作により、多様性と忠実度を向上させるGANベースのデータ拡張手法を提案する。これは、MRIからCTへの翻訳などの下流タスクにおける汎化性能を向上させ、標準的なデータ拡張法や標準的なGANサンプリングと比較して、多様性とモードカバレッジに優れながらも、高速な推論を維持する。

ABSTRACT

Data Augmentation (DA) is a technique to increase the quantity and diversity of the training data, and by that alleviate overfitting and improve generalisation. However, standard DA produces synthetic data for augmentation with limited diversity. Generative Adversarial Networks (GANs) may unlock additional information in a dataset by generating synthetic samples having the appearance of real images. However, these models struggle to simultaneously address three key requirements: fidelity and high-quality samples; diversity and mode coverage; and fast sampling. Indeed, GANs generate high-quality samples rapidly, but have poor mode coverage, limiting their adoption in DA applications. We propose LatentAugment, a DA strategy that overcomes the low diversity of GANs, opening up for use in DA applications. Without external supervision, LatentAugment modifies latent vectors and moves them into latent space regions to maximise the synthetic images' diversity and fidelity. It is also agnostic to the dataset and the downstream task. A wide set of experiments shows that LatentAugment improves the generalisation of a deep model translating from MRI-to-CT beating both standard DA as well GAN-based sampling. Moreover, still in comparison with GAN-based sampling, LatentAugment synthetic samples show superior mode coverage and diversity. Code is available at: https://github.com/ltronchin/LatentAugment.

研究の動機と目的

• GANベースのデータ拡張における多様性の不足に起因する低データ環境下での利用制限を解消すること。
• サンプリング速度を犠牲にせずに、GAN生成画像のモードカバレッジと忠実度を向上させること。
• タスクに依存しない、効率的なデータ拡張戦略を構築し、さまざまなデータセットや下流タスクに適用可能にすること。
• 生成学習の三難（忠実度、多様性、速度）を潜在空間のナビゲーションに焦点を当てることで克服すること。
• 標準的な拡張法や単純なGANサンプリングよりも、より良い潜在データ分布を捉える高品質で多様な合成データ生成を可能にすること。

提案手法

• 本手法は、実画像の潜在コードから出発し、勾配ベースの最適化を用いて、多様性と忠実度を最大化する潜在空間の領域へとそのコードを誘導する。
• 生成画像の意味的コンテンツおよびスタイルを保持しつつ、意味的に有意な変化をもたらすために、知覚的および空間的多様性指標を最適化のガイドとして用いる。
• 忠実度は事前学習済みのInceptionスコアまたはFréchet Inception Distance（FID）の代用指標を用い、真正性は識別器スコアを用いて最大化する。
• 本手法は画像空間の操作と比較して計算コストを低減するため、完全に潜在空間内でのみ処理が行われる。
• GANアーキテクチャや下流タスクに依存しないため、広範な適用性を有する。
• 外部の教師信号やドメイン特化の拡張ポリシーを必要とせず、潜在空間の最適化に依存する。

Figure 1 : Intuition. Considering $\mathcal{X}$ and $\mathcal{W}$ as the data and latent space distributions, respectively. In panel (a), we denote with blue stars the encoded real images. Panel (b). The standard SG2 DA procedure does not provide any guide to the generation process. Thus random late

実験結果

リサーチクエスチョン

• RQ1 GANの潜在空間におけるガイド付き操作が、データ拡張のための合成データの多様性とモードカバレッジを顕著に向上させることができるか？
• RQ2 提案手法は、下流モデルの汎化性能において、標準的なデータ拡張法や標準的なGANサンプリングを上回るか？
• RQ3 推論時間の増加を伴わず、高忠実度かつ現実的なサンプルを生成しながら、優れた多様性を達成できるか？
• RQ4 タスク固有のチューニングを必要とせず、さまざまなデータセットや下流タスクにおいてもロバストで効果的か？
• RQ5 データ拡張の文脈において、拡散モデルと比較して生成速度と品質の点でどのように差がつくか？

主な発見

• LatentAugmentは、MRIからCTへの翻訳タスクにおいて、深層学習モデルの汎化性能を向上させ、標準的なデータ拡張法や標準的なGANベースのサンプリングを上回った。
• 本手法は、標準的なGANサンプリングと比較して、より高い正確性（precision）と再現率（recall）を達成しており、生成サンプルのモードカバレッジと多様性が優れていることを示した。
• LatentAugmentで生成された画像は、実画像の滑らかで現実的な変化を示し、主な構造やテクスチャを保持しながらも、意味的な多様性を導入していた。
• 本手法は高速な推論を維持しており、標準的なGANサンプリングと同等のスループットを達成し、拡散モデルよりも顕著に高速であった。
• 標準的なGANサンプリングと比較して、LatentAugmentは分布外のサンプルの生成を低減させ、データ品質と分布内カバレッジを向上させた。
• ドメイン知識やタスク固有のチューニングを必要とせず、さまざまなデータセットやタスクに広く適用可能であることが示され、有効性が確認された。

Figure 2 : High-level schematic representation of LatentAugment policy (dashed rectangle). It first retrieves the latent code $w^{*}$ of the image $x$ we aim to augment. Then for each iteration $k$ of the procedure, we manipulate $w^{k}$ minimising the loss $\mathcal{L}(w^{k})$ , which is given by a