[論文レビュー] Multi-class Generative Adversarial Nets for Semi-supervised Image Classification

Saman Motamed, Farzad Khalvati|arXiv (Cornell University)|Feb 13, 2021

Generative Adversarial Networks and Image Synthesis参考文献 6被引用数 5

ひとこと要約

本稿では、マルチクラスのGANフレームワークMCGANを提案する。MCGANは、識別器をすべてのラベル付きクラスに対して同時に訓練することで、生成器が視覚的に類似したクラスに過剰に一般化するのを防ぎ、半教師あり画像分類を改善する。訓練中、非ターゲットクラスを「偽物」とラベル付けすることで、類似クラスの画像の誤った生成を低減し、特にクラス間の視覚的類似度が高い困難な状況において、既知および未知のクラスの両方の分類精度が向上する。

ABSTRACT

From generating never-before-seen images to domain adaptation, applications of Generative Adversarial Networks (GANs) spread wide in the domain of vision and graphics problems. With the remarkable ability of GANs in learning the distribution and generating images of a particular class, they can be used for semi-supervised classification tasks. However, the problem is that if two classes of images share similar characteristics, the GAN might learn to generalize and hinder the classification of the two classes. In this paper, we use various images from MNIST and Fashion-MNIST datasets to illustrate how similar images cause the GAN to generalize, leading to the poor classification of images. We propose a modification to the traditional training of GANs that allows for improved multi-class classification in similar classes of images in a semi-supervised learning framework.

研究の動機と目的

• GANが半教師あり画像分類の過程で視覚的に類似したクラスに過剰に一般化するという課題に対処すること。
• 特定のクラスのラベル付きデータが限られている、あるいは存在しない状況での分類性能を向上させること。
• GANの訓練ダイナミクスを変更することで、類似クラス間の識別力を維持する手法を開発すること。
• 変動スコアに基づく分類において、識別器の訓練にすべてのラベル付きクラスを組み込むことで、誤検出（偽陽性）が減少することを示すこと。
• 未知クラスのラベル付きデータを必要としない、スケーラブルな、GANベースの半教師ありマルチクラス画像分類ソリューションを提供すること。

提案手法

• MCGANは、標準的なGAN訓練プロセスを変更し、識別器をすべてのラベル付きクラスに対して同時に訓練する。ターゲットクラスの画像には「本物」とラベルを付け、他のすべてのラベル付きクラスの画像には「偽物」とラベルを付ける。
• 生成器は、ターゲットクラスのリアルな画像を生成するように訓練されるとともに、他のラベル付きクラスに類似した画像を生成するのをペナルティとして受ける。
• 推論時、変動スコア V(x) は、識別器が本物の画像を本物と識別する信頼度と、生成画像を偽物と識別する信頼度を用いて計算される。低いスコアは、ターゲットクラスとの類似度が高いことを示す。
• この手法は、ターゲットクラスの本物画像と、他のすべてのラベル付きクラスの偽物画像を区別するマルチクラス識別器を用いる。これにより、生成器が類似クラス間で共有される特徴を学習するのを効果的に防ぐ。
• 半教師あり設定で、3つのクラスのうち2つだけをラベル付きとして訓練し、残りの1つを未知クラスとして検出対象とする。
• 訓練の目的関数は、生成器が他のラベル付きクラスに類似する画像を生成しないように強制する。

実験結果

リサーチクエスチョン

• RQ1 1つのクラスで訓練されたGANが、視覚的特徴が類似した別のクラスの画像に対して、誤って低い変動スコアを出力する可能性があるか？
• RQ2 GAN生成器の過剰一般化が、半教師ありマルチクラス画像分類性能に与える影響は何か？
• RQ3 識別器の訓練にすべてのラベル付きクラスを組み込むことで、視覚的に類似したクラス間の分類精度が向上するか？
• RQ4 マルチクラス識別器の訓練により、半教師あり設定において生成器の類似クラスへの一般化傾向が低下するか？
• RQ5 MCGANは、標準的なDCGANと比較して、既知クラスおよび未知クラスの両方の分類性能をどの程度向上させるか？

主な発見

• MCGANは、MNIST (3,8-9) では未知クラス検出のAUCを 0.67 から 0.69 に、F-MNIST (9,4-8) では 0.87 から 0.90 に向上させ、未知クラスの検出性能が向上した。
• 既知クラスの分類において、MCGANは全テストペアでDCGANを上回り、MNIST (3,8-9) ではAUCが 0.57 から 0.64 に、F-MNIST (9,4-8) では 0.79 から 0.84 に向上した。
• （コート、シャツ－パーカー）ペアでは、MCGANが未知クラス検出でAUC 0.79を達成したのに対し、DCGANは0.73にとどまり、一貫した改善が確認された。
• （コート、パーカー－ドレス）ペアでは、MCGANが未知クラス検出でAUC 0.81を達成したのに対し、DCGANは0.66にとどまり、困難な状況下での顕著な改善が示された。
• 改善はあったが、MCGANの（コート、シャツ－パーカー）および（3,8-9）ペアにおける性能はAUC 0.80未満にとどまり、クラス間の類似度が極めて高い場合の限界が示された。
• MCGANは、DCGANが類似クラスに類似した画像を生成する傾向（例：MNISTの「8」に学習したGANが「3」に類似した画像を生成）を明示的に抑制することで、その傾向を低減した。