[論文レビュー] Data Augmentation in Classification using GAN

Xinyue Zhu, Yifan Liu+1 more|arXiv (Cornell University)|Nov 2, 2017

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

本論文は、感情認識において特に稀なクラス（例：「嫌悪」）を含むクラス不均衡な状況下で画像分類の性能を向上させるために、CycleGANを用いたGANベースのデータ拡張フレームワークを提案する。最小二乗 adversarial 損失を用いることで、データ多様体を補完し、クラス間マージンを向上させる現実的な合成画像を生成する。この手法により、ベンチマークデータセット上で分類精度が5%〜10%向上する。

ABSTRACT

It is a difficult task to classify images with multiple class labels using only a small number of labeled examples, especially when the label (class) distribution is imbalanced. Emotion classification is such an example of imbalanced label distribution, because some classes of emotions like \emph{disgusted} are relatively rare comparing to other labels like {\it happy or sad}. In this paper, we propose a data augmentation method using generative adversarial networks (GAN). It can complement and complete the data manifold and find better margins between neighboring classes. Specifically, we design a framework with a CNN model as the classifier and a cycle-consistent adversarial networks (CycleGAN) as the generator. In order to avoid gradient vanishing problem, we employ the least-squared loss as adversarial loss. We also propose several evaluation methods on three benchmark datasets to validate GAN's performance. Empirical results show that we can obtain 5%~10% increase in the classification accuracy after employing the GAN-based data augmentation techniques.

研究の動機と目的

• 限られた、かつ不均衡なラベル付きデータにおける画像分類の課題に取り組むこと、特に「嫌悪」のようなレアクラスが存在する感情認識分野において。
• 潜在的なデータ多様体をよりよく表現する現実的な合成画像を用いて訓練データを拡張することで、分類性能を向上させること。
• GAN学習で一般的に見られる勾配消失問題を軽減するため、最小二乗 adversarial 損失を採用すること。
• 複数のベンチマークデータセットを用いて、提案されたGANベースの拡張フレームワークの有効性を検証すること。

提案手法

• CNN分類器を、CycleGAN生成器と併せて学習させ、データ拡張用の合成画像を生成する。
• CycleGANアーキテクチャにより、ペairedでない画像間変換が可能となり、ソースドメインから多様で現実的なサンプルを生成できる。
• GAN最適化中の勾配消失を軽減し、学習を安定化させるために、最小二乗損失を adversarial 損失として採用する。
• 隣接クラス間の低密度領域に位置するサンプルを生成することで、クラス間マージンを強化する。
• 生成器は、画像の意味的コンテンツを保持しつつ、ターゲットクラスの分布に一致させるように訓練される。
• 分類精度への影響を評価するために、複数の指標を用いて3つのベンチマークデータセットで評価が行われる。

実験結果

リサーチクエスチョン

• RQ1 訓練データが限られ、クラス不均衡な状況下でも、GANベースのデータ拡張が画像分類性能を向上させられるか？
• RQ2 最小二乗損失を用いたCycleGANは、データ拡張に適した現実的で意味的意味を持つ画像を効果的に生成できるか？
• RQ3 データ多様体を補完し、より良い意思決定マージンを探索することで、本手法はクラス間分離性を向上させられるか？
• RQ4 感情認識における頻度の低いクラスと高いクラスの性能差を、どの程度縮小できるか？
• RQ5 標準的なデータ拡張手法と比較して、本手法はどの程度の精度向上を達成できるか？

主な発見

• 提案されたGANベースのデータ拡張手法は、複数のベンチマークデータセットで分類精度を5%〜10%向上させた。
• 最小二乗損失の使用により、GAN学習中の勾配消失問題が効果的に軽減され、より安定的かつ効果的な生成が可能になった。
• CycleGANで生成された合成画像は、データ多様体を補完し、一般化性能と意思決定境界の分離性を向上させた。
• 特に「嫌悪」のようなレアな感情クラスの誤分類を低減する点で、本手法は顕著な効果を示した。
• 3つのベンチマークデータセットでの評価により、異なる画像分類タスクにおいて一貫した性能向上が確認され、本手法の堅牢性が裏付けられた。