[論文レビュー] EC-GAN: Low-Sample Classification using Semi-Supervised Algorithms and GANs

Ayaan Haque|arXiv (Cornell University)|Dec 26, 2020

Generative Adversarial Networks and Image Synthesis参考文献 34被引用数 9

ひとこと要約

EC-GANは、生成器に外部分類器を接続することで分類と識別を分離する、新しい半教師ありGANフレームワークを提案する。これにより、限られたラベル付きデータにおける完全教師あり画像分類タスクの性能が向上する。クラスバランスの取れた合成データを生成し、訓練の安定化に寄与する重み付き adversarial loss を用いることで、実世界の小規模データセットで最先端の精度を達成している。X線データセットの100%のデータを使用した場合、97.99%の精度に到達している。

ABSTRACT

Semi-supervised learning has been gaining attention as it allows for performing image analysis tasks such as classification with limited labeled data. Some popular algorithms using Generative Adversarial Networks (GANs) for semi-supervised classification share a single architecture for classification and discrimination. However, this may require a model to converge to a separate data distribution for each task, which may reduce overall performance. While progress in semi-supervised learning has been made, less addressed are small-scale, fully-supervised tasks where even unlabeled data is unavailable and unattainable. We therefore, propose a novel GAN model namely External Classifier GAN (EC-GAN), that utilizes GANs and semi-supervised algorithms to improve classification in fully-supervised regimes. Our method leverages a GAN to generate artificial data used to supplement supervised classification. More specifically, we attach an external classifier, hence the name EC-GAN, to the GAN's generator, as opposed to sharing an architecture with the discriminator. Our experiments demonstrate that EC-GAN's performance is comparable to the shared architecture method, far superior to the standard data augmentation and regularization-based approach, and effective on a small, realistic dataset.

研究の動機と目的

• ラベル付きデータが極めて限られた状況で、ラベルなしデータでさえ利用できない完全教師あり画像分類の課題に対処すること。
• GANを用いた合成データ生成を活用することで、制限されたデータ環境における分類性能を向上させること。
• GANアーキテクチャにおいて分類タスクと識別タスクを分離し、共有アーキテクチャによる性能劣化を回避すること。
• 医療用X線画像など、強いクラス不均衡を示す現実的で小規模なデータセットにおける有効性を示すこと。
• アブレーションスタディおよび標準的なデータ拡張法や正則化手法との比較を通じて、手法の有効性を検証すること。

提案手法

• 生成器に別個の外部分類器を接続するEC-GANというGANアーキテクチャを導入し、分類と識別を分離する。
• 条件付きGANを用いて、クラスラベルを条件として生成器と識別器に与えることで、クラスバランスの取れた合成画像を生成する。
• 訓練中に実データ（ラベル付き）と生成データ（偽物）の寄与をバランスさせるために、重み付き非教師あり損失（adversarial weight λ）を適用する。
• 特に低データ環境での訓練の安定性と一般化性能を向上させるために、L2正則化を組み込む。
• 限られた実際の訓練データを補完する、リアルなクラス固有の画像を生成器が生成できるようにする。
• 生成器が識別器からのフィードバックによるリアリスティックさの最適化と、外部分類器による分類精度の最適化の両方を同時に最適化するマルチタスク訓練目的関数を採用する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータが極めて少ない状況で、ラベルなしデータでさえ利用できない完全教師あり小規模データセットにおいて、GANベースのアプローチが分類精度を顕著に向上させられるか。
• RQ2 GANアーキテクチャにおいて分類器を識別器から分離することで、共有アーキテクチャのGANよりも低データ環境で優れた性能が得られるか。
• RQ3 条件付きGANで生成された合成データが、不均衡な現実的データセットにおける分類器性能の向上にどの程度有効か。
• RQ4 訓練の安定化と精度向上の観点から、教師あり損失と非教師あり損失（すなわちadversarial weight λ）の最適なトレードオフは何か。
• RQ5 小規模データ環境において、EC-GANは標準的なデータ拡張法や正則化手法と比較して、どの程度優れているか。

主な発見

• EC-GANは、X線データセットの全データ（100%の訓練データ）を使用した場合、97.99%のテスト精度を達成し、ベースライン分類器（96.42%）および標準的なデータ拡張手法を大きく上回った。
• 訓練データの25%（全200枚）のみを使用した場合、EC-GANは96.48%の精度を達成し、極めて限られたデータ環境下でも優れた性能を示した。
• 1クラスあたり100枚のデータ（全200枚）の設定下で、EC-GANは90.9%の精度に到達し、極めて制限されたデータ環境下での有効性を示した。
• 重み付き非教師あり損失（λ = 0.1）を追加したことで、ベースラインから10ポイント以上の精度向上が見られ、合成データの活用に不可欠であることが実証された。
• L2正則化を適用したEC-GANは、データ拡張のみ、および拡張＋正則化の併用よりも優れた性能を示し、データセットサイズにかかわらず一貫性のある性能を発揮した。
• アブレーションスタディの結果、外部分類器の設計と条件付きGANに基づくデータ生成が、特にクラス不均衡の処理において性能向上の鍵であることが確認された。