[論文レビュー] Generative Models as a Data Source for Multiview Representation Learning

Ali Jahanian, Xavier Puig+2 more|arXiv (Cornell University)|Jun 9, 2021

Generative Adversarial Networks and Image Synthesis参考文献 68被引用数 6

ひとこと要約

本論文は、事前学習済みの生成モデルから生成された合成データから、一般化可能な視覚的表現を学習することを提案する。潜在空間変換を用いて対照学習に適したマルチビューのデータを生成する。本研究では、適切なサンプリングおよびトレーニング戦略を採用すれば、合成データから学習した表現が、実データから学習した表現と同等またはそれを上回ることを示している。

ABSTRACT

Generative models are now capable of producing highly realistic images that look nearly indistinguishable from the data on which they are trained. This raises the question: if we have good enough generative models, do we still need datasets? We investigate this question in the setting of learning general-purpose visual representations from a black-box generative model rather than directly from data. Given an off-the-shelf image generator without any access to its training data, we train representations from the samples output by this generator. We compare several representation learning methods that can be applied to this setting, using the latent space of the generator to generate multiple "views" of the same semantic content. We show that for contrastive methods, this multiview data can naturally be used to identify positive pairs (nearby in latent space) and negative pairs (far apart in latent space). We find that the resulting representations rival or even outperform those learned directly from real data, but that good performance requires care in the sampling strategy applied and the training method. Generative models can be viewed as a compressed and organized copy of a dataset, and we envision a future where more and more "model zoos" proliferate while datasets become increasingly unwieldy, missing, or private. This paper suggests several techniques for dealing with visual representation learning in such a future. Code is available on our project page https://ali-design.github.io/GenRep/.

研究の動機と目的

• 元の学習データにアクセスできない状況下で、ブラックボックスの生成モデルから生成された合成データから有効な視覚的表現を学習できるかを調査すること。
• 事前学習済みの生成モデルからのサンプルを用いてトレーニングされた対照的および非対照的表現学習手法の有効性を評価すること。
• 生成モデルの潜在空間変換が、表現学習に適した意味のあるマルチビューのデータをどのように生成できるかを検討すること。
• 異なるサンプリング戦略およびトレーニング目的が、下流タスクへの転移性能に与える影響を評価すること。

提案手法

• 事前学習済みの生成モデル（例：BigBiGAN、BigGAN、StyleGAN）をデータソースとして活用し、元の学習データにアクセスせずに画像をサンプリングする。
• ピクセル空間ではなく、潜在空間における変換（例：ガウスノイズ、スタイリスティックステアリング）を適用することで、同じ意味的コンテンツの複数のビューを生成する。
• 潜在ベクトルの近接性を正例ペア、距離を負例ペアとして定義し、対照学習の目的関数に用いる。
• 標準的な対照学習フレームワーク（例：SimCLR）および教師あり対照学習を、モデル自身の潜在空間をビュー多様性の源として生成データに適用する。
• 生成モデルからの合成データでトレーニングされたモデルの性能を、実際のImageNetデータでトレーニングされたモデルと比較し、複数の下流タスクで評価する。
• 線形プローブを用いて、ImageNet100、VOC07分類、VOC07検出タスクにおける転移性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 元の学習データにアクセスできないブラックボックスの生成モデルから生成された合成データから、有効な視覚的表現を学習できるか？
• RQ2 ガウスノイズやスタイリスティックステアリングなどの異なる潜在空間変換戦略が、対照学習に適したマルチビューのデータ品質にどのように影響するか？
• RQ3 生成モデルからの合成データでトレーニングされた表現は、実データでトレーニングされた表現と同等またはそれ以上の性能を達成できるか？
• RQ4 生成モデルの出力データをトレーニングデータとして使用する場合、表現品質を最大化するために最も効果的なサンプリングおよびトレーニング戦略は何か？
• RQ5 生成モデルからの合成データが、実データを補完するのにどの程度有効に機能するか？

主な発見

• BigBiGANからの合成データで対照学習を実行したモデルは、ImageNet100でトップ1正解率61.52％を達成し、実データで得られた81.18％に近い性能を示した。
• ガウスノイズやスタイリスティックステアリングなどの潜在空間変換を用いることで、変換なしのケースに比べて性能が向上し、特にガウスノイズが最も優れた結果（トップ1正解率60.74％）をもたらした。
• クラス条件付きモデル（BigGAN）に対して、生成データ上で教師あり対照学習を適用した場合、70.16％のトップ1正解率を達成し、非対照的インバータ法（38.84％）を上回った。
• BigBiGANからの5％の合成データを実際のImageNet100データと混合させることで、転移性能が向上した。これは、合成データが実データを効果的に補完できることを示している。
• 表現の品質はサンプリング戦略に強く依存しており、潜在空間変換を施さないナーブなサンプリングでは性能が著しく低下する。これは、構造的なビュー生成の重要性を強調している。
• 結果から、生成モデルは、プライバシー保護が可能で編集可能な代替データセットとして、表現学習のための圧縮された代替手段として機能できる可能性がある。