[論文レビュー] Mining GOLD Samples for Conditional GANs

Sangwoo Mo, Chiheon Kim+3 more|arXiv (Cornell University)|Oct 21, 2019

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

本稿では、条件付きGANにおける分布の差を、識別器の出力を用いて与えられたサンプル上で定量化する新たな乖離尺度であるGap of Log-densities (GOLD)を提案する。GOLDを周辺分布と条件付き分布に分解することで、例の再重み付け、棄却サンプリング、アクティブラーニングが可能となり、MNIST、SVHN、CIFAR-10の各データセットにおいて一貫した向上が得られる。

ABSTRACT

Conditional generative adversarial networks (cGANs) have gained a considerable attention in recent years due to its class-wise controllability and superior quality for complex generation tasks. We introduce a simple yet effective approach to improving cGANs by measuring the discrepancy between the data distribution and the model distribution on given samples. The proposed measure, coined the gap of log-densities (GOLD), provides an effective self-diagnosis for cGANs while being efficienty computed from the discriminator. We propose three applications of the GOLD: example re-weighting, rejection sampling, and active learning, which improve the training, inference, and data selection of cGANs, respectively. Our experimental results demonstrate that the proposed methods outperform corresponding baselines for all three applications on different image datasets.

研究の動機と目的

• データ分布とモデル分布の乖離を測定することで、条件付きGANの評価と改善に取り組むこと。
• 識別器の出力を活用して分布ギャップを効率的に推定する、自己診断ツールを提供すること。
• GOLD推定器の3つの新規応用を通じて、cGANにおける訓練、推論、データ選択の改善を実現すること。
• 最小限のコード変更で実装可能なシンプルで即席の手法を提供し、cGANの性能を向上させること。

提案手法

• 与えられたサンプル上でのデータ分布とモデル分布の乖離を測る指標として、Gap of Log-densities (GOLD)推定器を提案する。
• GOLDを2つの成分に分解する：周辺対数密度ギャップ（生成品質）と条件付き対数密度ギャップ（クラス正解率）、両者とも識別器の2本の出力構造から計算可能である。
• 識別器の本物/偽物予測と補助分類器出力を用いて、追加の訓練なしに2つの項を効率的に計算する。
• 2つの識別器ブランチにおける最適でない状態を考慮したヒューリスティックなバランス化スキームを導入し、推定器の安定化を図る。
• 3つの応用を導入する：例の再重み付け（難易度の高いサンプルを優先）、棄却サンプリング（低品質な生成物をフィルタリング）、アクティブラーニング（情報量の多い未ラベルサンプルの選択）。
• アクティブラーニングにおいて、生成器は保持し、識別器のみを再初期化する戦略を採用することで、局所最適解に陥るのを回避し、収束性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 識別器の出力から導出される乖離尺度が、条件付きGANの訓練と推論を改善できるか？
• RQ2 cGANフレームワークにおいて、個々のサンプル上でのデータ分布とモデル分布のギャップを効果的に推定できるか？
• RQ3 乖離の周辺成分と条件付き成分への分解が、同時に生成品質とクラス正解率の向上をもたらすか？
• RQ4 GOLDに基づく再重み付け、棄却サンプリング、アクティブラーニングが、それぞれのベースラインをどの程度上回るか？
• RQ5 GOLD推定器は、データ空間における未カバー領域や不確実領域を効果的に特定するアクティブラーニングを支援できるか？

主な発見

• SVHNでは、GOLDに基づく再重み付けにより、cGANの適合能力が74.43から76.71に向上（+3.06%）。
• SVHNでは、GOLDに基づく棄却サンプリングにより、適合能力が73.58から75.06に向上（+2.01%）。
• MNISTでは、GOLDに基づくアクティブラーニング戦略により、適合能力が92.65から94.60に向上（+2.10%）。
• 可視化により、GOLD推定器が不確実または未カバー領域のサンプルを効果的に選択していることが示された。
• 周辺成分と条件付き成分の併用が、単独で用いる場合よりも優れたクエリ選択を実現しており、定性的な分析で確認された。
• 最小限のアーキテクチャ変更で、MNIST、SVHN、FMNIST、CIFAR-10の複数のデータセットで一貫した性能向上を達成した。