[論文レビュー] DatasetGAN: Efficient Labeled Data Factory with Minimal Human Effort

Yuxuan Zhang, Huan Ling+6 more|arXiv (Cornell University)|Apr 13, 2021

Advanced Neural Network Applications参考文献 53被引用数 17

ひとこと要約

DatasetGANは、事前学習済みのStyleGANを活用して画像を合成し、軽量なデコーダーでごく少数の人のラベル付き例からピクセル単位のラベルを予測することで、高品質で詳細なセマンティックセグメンテーションデータセットを生成する。この手法により、完全に教師ありのモデルが100倍少ないラベルデータで達成する最新の性能を実現する合成データセットが得られる。

ABSTRACT

We introduce DatasetGAN: an automatic procedure to generate massive datasets of high-quality semantically segmented images requiring minimal human effort. Current deep networks are extremely data-hungry, benefiting from training on large-scale datasets, which are time consuming to annotate. Our method relies on the power of recent GANs to generate realistic images. We show how the GAN latent code can be decoded to produce a semantic segmentation of the image. Training the decoder only needs a few labeled examples to generalize to the rest of the latent space, resulting in an infinite annotated dataset generator! These generated datasets can then be used for training any computer vision architecture just as real datasets are. As only a few images need to be manually segmented, it becomes possible to annotate images in extreme detail and generate datasets with rich object and part segmentations. To showcase the power of our approach, we generated datasets for 7 image segmentation tasks which include pixel-level labels for 34 human face parts, and 32 car parts. Our approach outperforms all semi-supervised baselines significantly and is on par with fully supervised methods, which in some cases require as much as 100x more annotated data as our method.

研究の動機と目的

• セマンティックセグメンテーションのための大規模かつ詳細にアノテートされた画像データセットを作成する際の高コストおよび人的労力の問題を解決すること。
• 生成モデルを活用して画像と対応するセマンティックラベルの両方を合成することで、人的アノテーションの必要性を低減すること。
• 実際のデータで完全に教師ありに学習されたモデルと同等またはそれ以上の性能を示す合成データセット上でディーブラーニングモデルを訓練できること。
• 3次元再構成やアニメーション可能なオブジェクトモデリングなどの複雑な下流アプリケーションを、部分レベルのアノテーションおよびキーポイントアノテーションによって支援すること。
• わずか16～30枚の人のラベル付き例で十分であり、さまざまなセグメンテーションタスクに一般化するモデルを訓練できることを示すこと。

提案手法

• 潜在空間全体をカバーする多様で現実的な画像を生成するため、事前学習済みのStyleGANを活用する。
• 合成された画像のうちごく少数（例：16～30枚）を手動でピクセル単位のセグメンテーションラベルでアノテートする。
• GANの潜在コードをセマンティックセグメンテーションマスクにマップする、軽量で浅いデコーダーネットワークを訓練し、潜在空間全体に一般化する。
• 訓練されたデコーダーを用いて、無限にわたる合成済みの完全にアノテートされた画像・セグメンテーションペアのストリームを自動生成する。
• 下流のコンピュータビジョンモデルを合成データセット上で訓練し、実際のテストデータ上で評価する。
• 微分可能レンダリングと2次元の監督信号を統合することで、フレームワークを3次元部分セグメンテーションおよび3次元キーポイント予測に拡張する。

実験結果

リサーチクエスチョン

• RQ1 GANによって生成された分布からのわずか数枚の人のラベル付き画像を用いて、潜在空間全体に一般化するデコーダーを訓練できるか？ その結果、高品質なセマンティックセグメンテーションが達成できるか？
• RQ2 本手法によって生成された合成データセットは、実際のデータで完全に教師ありに学習されたモデルと同等またはそれ以上の性能を達成できるか、どの程度まで達成できるか？
• RQ3 わずかな人的作業で、細かく詳細なアノテーション（例：34の顔のパーツ、32の車のパーツ）を生成できるか？
• RQ4 キーポイント検出や単眼からの3次元再構成などの下流タスクにおいて、このアプローチはどの程度効果的か？
• RQ5 部分レベルおよびキーポイントの監視を伴う、アニメーション可能な3次元アセット生成のような複雑な3次元アプリケーションをサポートできるか？

主な発見

• DatasetGANは、顔や車のパーツセグメンテーションを含む7つのセグメンテーションタスクにおいて、すべての半教師あり学習ベースラインを大きく上回った。
• 一部のケースでは、ラベル付きデータ量を100分の1にまで削減しても、完全に教師ありのモデルと同等の性能を達成した。
• CUB鳥データセットでは、30枚の人のラベル付き例を用いて合成データで学習したモデルが、同じアノテーション予算で微調整されたベースラインを上回った。
• 車のキーポイント検出においては、わずか16枚のラベル付き例で学習したモデルが、20枚の実際のテスト画像で強力な性能を示した。
• 本手法により、30枚の人のラベル付き例のみで、正しい素材と動的ライティングを備えたリグジングされたホイールを備えた、単眼からのアニメーション可能な3次元車両の初の3次元再構成が実現された。
• フレームワークは、物理的挙動とアニメーションをサポートする高品質で詳細なパーツレベルおよびキーポイントアノテーションを効果的に生成し、リアルな3次元アセットの作成を可能にした。