[論文レビュー] Data Augmentation in Emotion Classification Using Generative Adversarial Networks

Xinyue Zhu, Yifan Liu+2 more|arXiv (Cornell University)|Nov 2, 2017

Generative Adversarial Networks and Image Synthesis参考文献 25被引用数 76

ひとこと要約

本論文は CycleGAN を用いたデータ拡張を提案し、不均衡データセットにおける感情画像分類を改善、少数クラスのサンプルを生成しデータ多様性を豊かにすることで 5–10% の精度向上を達成する。

ABSTRACT

It is a difficult task to classify images with multiple class labels using only a small number of labeled examples, especially when the label (class) distribution is imbalanced. Emotion classification is such an example of imbalanced label distribution, because some classes of emotions like \emph{disgusted} are relatively rare comparing to other labels like {\it happy or sad}. In this paper, we propose a data augmentation method using generative adversarial networks (GAN). It can complement and complete the data manifold and find better margins between neighboring classes. Specifically, we design a framework with a CNN model as the classifier and a cycle-consistent adversarial networks (CycleGAN) as the generator. In order to avoid gradient vanishing problem, we employ the least-squared loss as adversarial loss. We also propose several evaluation methods on three benchmark datasets to validate GAN's performance. Empirical results show that we can obtain 5%~10% increase in the classification accuracy after employing the GAN-based data augmentation techniques.

研究の動機と目的

• 表情認識における不均衡な感情データセットの課題に対処する。
• 少数クラスの画像を生成する CycleGAN ベースのデータ拡張フレームワークを提案する。
• GAN 生成データが複数のベンチマークで分類性能に与える影響を評価する。

提案手法

• 感情画像認識のためのCNN分類器を使用する。
• 参照感情ドメイン間の画像生成に Least-Squared Loss (LSGAN) を用いた CycleGAN を採用する。
• 二つのドメイン間の画像翻訳を訓練する際に LSGAN 損失とサイクル一貫性損失を組み合わせる。
• GAN 生成サンプルを学習データに追加し、FER2013、SFEW、JAFFE のデータセットで評価する。
• データ manifolds の改善を t-SNE で可視化し、クラス間のマージンを分析する。

実験結果

リサーチクエスチョン

• RQ1 CycleGAN ベースのデータ拡張は不均衡な感情データセットにおける分類精度を改善できるか?
• RQ2 LSGAN 損失とサイクル一貫性損失を組み合わせることで訓練を安定させ、サンプル品質を向上させるか?
• RQ3 GAN 生成サンプルはデータ manifold を意味的に補完し、感情クラス間のマージンを拡大するか?

主な発見

• GAN ベースの拡張は不均等クラスが増強された場合、FER2013 における全体精度の改善をもたらす。
• 嫌悪（Disgust）および悲しい（sad）クラスは拡張後に大幅な精度向上を示す。
• FER2013 からの適応時に GAN 生成データで事前学習し、その後微調整を行うことで SFEW および JAFFE の性能が向上する。
• t-SNE の可視化で、拡張後にクラス manifolds が拡張され、より明確になることを示す。
• この手法は感情分類タスクで約 5–10% のゲインを達成することが報告されている。