[論文レビュー] Mining Multi-Label Samples from Single Positive Labels

Youngin Cho, Daejin Kim+2 more|arXiv (Cornell University)|Jun 12, 2022

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本稿では、マルコフ連鎖モンテカルロ法（MCMC）を用いた新規なS2Mサンプリング手法を提案する。この手法により、1サンプルあたり1つのポジティブラベルしか提供されない条件下でも、高品質なマルチラベル画像を条件付きGANで生成可能となる。多値ラベルのアノテーションにかかるコストが不要であり、完全にアノテートされたデータセットで学習したモデルと同等の性能を達成し、一部の指標ではそれを上回ることすら可能である。

ABSTRACT

Conditional generative adversarial networks (cGANs) have shown superior results in class-conditional generation tasks. To simultaneously control multiple conditions, cGANs require multi-label training datasets, where multiple labels can be assigned to each data instance. Nevertheless, the tremendous annotation cost limits the accessibility of multi-label datasets in real-world scenarios. Therefore, in this study we explore the practical setting called the single positive setting, where each data instance is annotated by only one positive label with no explicit negative labels. To generate multi-label data in the single positive setting, we propose a novel sampling approach called single-to-multi-label (S2M) sampling, based on the Markov chain Monte Carlo method. As a widely applicable "add-on" method, our proposed S2M sampling method enables existing unconditional and conditional GANs to draw high-quality multi-label data with a minimal annotation cost. Extensive experiments on real image datasets verify the effectiveness and correctness of our method, even when compared to a model trained with fully annotated datasets.

研究の動機と目的

• 条件付き画像生成のためのマルチラベルデータセット作成にかかる高コストを低減すること。
• 1サンプルあたり1つのポジティブラベルしか入手できない状況でも、マルチラベルデータの生成を可能にすること。
• 重複するクラスや非重複クラスの組み合わせにおいても、画像品質とサンプルの多様性を維持しながら生成すること。
• 既存の無条件および条件付きGANと互換性を持つ、即挿し可能なサンプリングフレームワークの開発。
• 明示的なネガティブラベルや複雑なモデル再訓練を必要とせず、クラス間の内在的関係を捉えること。

提案手法

• マルコフ連鎖モンテカルロ（MCMC）を用いて結合クラス分布からのサンプリングを可能にする、1対多ラベル（S2M）サンプリングフレームワークを提案する。
• 複数の分類ネットワークを用いて、結合クラスの条件付き密度を推定し、目的分布を近似する。
• 生成器の出力と分類スコアを活用することで、独立型メトロポリス・ハスティングス法を適用し、結合クラス分布からのサンプル生成を実現する。
• 潜在空間の適応を用いることで、高次元のデータ空間におけるサンプル効率と収束性を向上させる。
• 推論時におけるサンプリングプロセスの統合により、元のGANのアーキテクチャと目的をそのままで保持する。
• MCMCの受容意思決定に用いる $ p_t(x)/p_G(x) $ の有効な密度比推定法を定式化する。

実験結果

リサーチクエスチョン

• RQ1 明示的なネガティブラベルが存在しない状況でも、1つのポジティブラベルからマルチラベルサンプルを効果的に生成できるか？
• RQ2 1インスタンスあたり1つのポジティブラベルしか与えられない状況で、重複するクラスと非重複クラスの両方を正確にサンプリングする方法は何か？
• RQ3 後処理によるサンプリング手法が、完全にアノテートされたマルチラベルデータセットで学習したモデルと同等の性能を達成できるか？
• RQ4 提案されたS2Mサンプリングフレームワークは、高品質な画像を維持しながら、属性の組み合わせが複雑な多様な生成を可能にするか？
• RQ5 最小限のハイパーパrameterチューニングで、異なるデータセットや属性の組み合わせにおいて、本手法はどのようにスケーリングするか？

主な発見

• S2Mサンプリングは、CelebA-BBMで74.97%、CelebA-HBWで70.94%の精度を達成し、完全にアノテートされたデータセットで学習したベースラインのStyleGANv2（18.41%および12.68%）を大きく上回った。
• FIDスコアは、CelebA-BBMで15.57から14.41へ、CelebA-HBWで15.80から14.54へ改善され、サンプル品質の向上が示された。
• 定性的な結果から、複雑な組み合わせ（例：茶色の髪、濃い眉毛、口がわずかに開いている）を含むすべての結合クラスにおいて、多様で現実的なサンプルが得られた。
• 本手法は、重複クラス（例：A ∩ B）と非重複クラス（例：A \\( B)）の両方を、1つのポジティブラベルのみで効果的に生成できた。
• S2Mサンプリングは、MNIST、CIFAR-10、CelebAといった多様なデータセットで有効であり、アーキテクチャや目的の変更なしに既存のGANに即挿し可能であった。
• 独立型メトロポリス・ハスティングスのバリエーションは、再帰的サンプリングやランジュバンダイナミクスに比べ、安定性とサンプル品質が優れており、特に高次元空間において顕著であった。