[論文レビュー] Big GANs Are Watching You: Towards Unsupervised Object Segmentation with Off-the-Shelf Generative Models

Andrey Voynov, Stanislav Morozov+1 more|arXiv (Cornell University)|May 4, 2021

Visual Attention and Saliency Detection参考文献 22被引用数 9

ひとこと要約

この論文は、BigBiGAN や StyleGAN2 などの事前学習済み生成モデルを活用することで、教師なしオブジェクトセグメンテーションのための単純で再現性のある手法を提案する。生成画像における顕著性に対応する潜在空間の方向を特定し、それらを用いて仮のセグメンテーションマスクを生成。その後、識別型セグメンテーションモデルを訓練することで、最小限の学習とハイパーパramータチューニングで、教師なしベンチマークで最先端の性能を達成する。

ABSTRACT

Since collecting pixel-level groundtruth data is expensive, unsupervised visual understanding problems are currently an active research topic. In particular, several recent methods based on generative models have achieved promising results for object segmentation and saliency detection. However, since generative models are known to be unstable and sensitive to hyperparameters, the training of these methods can be challenging and time-consuming. In this work, we introduce an alternative, much simpler way to exploit generative models for unsupervised object segmentation. First, we explore the latent spaces of the publicly available unsupervised models, such as BigBiGAN and StyleGAN2, and reveal the ``segmenting'' latent directions that can be used to obtain saliency masks for GAN-produced images. These masks then are used to train a discriminative segmentation model. Being very simple and easy-to-reproduce, our approach outperforms the state-of-the-art on common benchmarks in the unsupervised scenario. All the code and the pretrained models are available online.

研究の動機と目的

• オブジェクトセグメンテーションのためのピクセルレベルのアノテーションを収集する高コストかつ困難さに対処すること。
• 微調整なしに、市販の生成モデルを活用して教師なしオブジェクトセグメンテーションを実現できるかを検討すること。
• オブジェクトレベルの顕著性に対応する安定的で意味のある潜在方向を、事前学習済み GAN の潜在空間内で特定すること。
• 生成モデルの複雑な学習を回避する単純で再現性のある手法を開発すること。
• 事前学習済みモデルと最小限の適応のみを用いて、教師なしセグメンテーションベンチマークで最先端の性能を達成すること。

提案手法

• 事前学習済みの BigBiGAN および StyleGAN2 の潜在空間を分析し、オブジェクトの顕著性に対応する方向を同定する。
• 特定の潜在方向を摂動させることで、顕著なオブジェクト領域を持つ画像を生成し、仮のセグメンテーションマスクを効果的に得る。
• 生成されたマスクを弱教師あり学習のための監督信号として用い、識別型セグメンテーションネットワークを訓練する。
• 生成モデルのエンドツーエンドの学習を回避し、事前学習済みモデルの潜在空間構造に依存する。
• 識別モデルは仮のマスクを監督信号として用いて学習され、実画像への一般化が可能になる。
• すべてのコンポーネントが単純なパイプラインでエンドツーエンドに訓練され、追加データや複雑なハイパーパramータチューニングが不要である。

実験結果

リサーチクエスチョン

• RQ1 BigBiGAN や StyleGAN2 などの事前学習済み生成モデルを微調整なしに、意味のあるセグメンテーションマスクを生成できるか？
• RQ2 これらのモデルの潜在空間に、オブジェクトレベルの顕著性に対応する安定的で解釈可能な方向が存在するか？
• RQ3 このような潜在方向を活用して、実画像に一般化可能な識別型セグメンテーションモデルを訓練できるか？
• RQ4 本手法は、従来の教師なしオブジェクトセグメンテーション手法と比較して、性能と学習の複雑さの面で優れているか？
• RQ5 本手法は、異なる事前学習済みモデルやデータセットに対して、頑健かつ再現可能か？

主な発見

• 本手法は、標準的な教師なしオブジェクトセグメンテーションベンチマークで最先端の性能を達成し、先行手法を上回る。
• BigBiGAN および StyleGAN2 の潜在空間で同定された方向は、多様な画像クラスにわたり一貫して妥当な顕著性マスクを生成する。
• 生成モデルの追加学習は一切不要で、事前学習済み重みのみに依存する。
• 得られたセグメンテーションモデルは、GAN から生成された合成マスクで学習しても、実画像への一般化が良好に機能する。
• 本手法は非常に再現可能で、最小限のハイパーパramータチューニングで済むため、実世界の展開に実用的である。
• コードと事前学習済みモデルが公開されており、容易な再現と拡張が可能である。