[論文レビュー] Object Segmentation Without Labels with Large-Scale Generative Models

Andrey Voynov, Stanislav Morozov+1 more|arXiv (Cornell University)|Jun 8, 2020

Advanced Neural Network Applications被引用数 6

ひとこと要約

この論文は、人為的なラベルを一切用いずに、事前学習済みのオフザシェルBigBiGANモデルを活用して合成セグメンテーションマスクを生成する、新しい教師なしオブジェクトセグメンテーション手法を提案する。前景と背景を分離する潜在空間の方向を自動で特定することで、U-Netのための高品質な合成学習データを生成し、最小限のハイパーパrameterチューニングで標準ベンチマークで最先端の性能を達成する。

ABSTRACT

The recent rise of unsupervised and self-supervised learning has dramatically reduced the dependency on labeled data, providing effective image representations for transfer to downstream vision tasks. Furthermore, recent works employed these representations in a fully unsupervised setup for image classification, reducing the need for human labels on the fine-tuning stage as well. This work demonstrates that large-scale unsupervised models can also perform a more challenging object segmentation task, requiring neither pixel-level nor image-level labeling. Namely, we show that recent unsupervised GANs allow to differentiate between foreground/background pixels, providing high-quality saliency masks. By extensive comparison on standard benchmarks, we outperform existing unsupervised alternatives for object segmentation, achieving new state-of-the-art.

研究の動機と目的

• オブジェクトセグメンテーションにおけるピクセルレベルまたは画像レベルのアノテーションの必要性を、大規模な教師なし生成モデルを活用することで排除すること。
• 敵対的訓練を回避し、複雑なハイパーパrameterチューニングを避ける、シンプルで再現性の高い教師なしオブジェクトセグメンテーション手法の開発。
• オフザシェルで事前学習済みのGANが、セグメンテーションタスクのための高品質な合成教師信号を生成できることを示すこと。
• 潜在空間の操作から得られる合成データのみを用いて、教師なしオブジェクトセグメンテーションの新しいベースラインを提供すること。

提案手法

• ImageNetでラベルなしに事前学習された自己教師的BigBiGANモデルを用い、ランダムな潜在コードから合成画像を生成する。
• 生成された画像上で演算子A₁とA₂を最適化することで、前後景分離に対応する潜在空間の方向を自動で特定する手順を導入する。
• 類似度マスクは、潜在空間におけるzとz + h_bg（背景除去方向）における生成器出力を比較することで生成される。
• これらの合成画像-マスクペアを用いて、U-Netモデルを教師ありで学習させ、ハイパーパrameterは合成データのホールドアウトサブセットを用いて調整する。
• 実際のImageNet画像を潜在空間に埋め込むためにBigBiGANのエンコーダーを活用することで、合成教師信号の品質を向上させる。
• 敵対的訓練を一切避け、事前学習済みGANの潜在空間の意味的構造にのみ依存する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みでオフザシェルのGANは、人為的ラベルなしに合成セグメンテーションマスクを生成できるか？
• RQ2 自己教師的GANの潜在空間において、前後景の区別に意味を持つ方向を自動で特定できるか？
• RQ3 このような潜在空間操作から得られる合成データは、既存の教師なし手法と比較して優れたセグメンテーション性能を発揮するか？
• RQ4 潜在空間における実画像の埋め込みが、合成教師信号の品質に与える影響は何か？

主な発見

• 提案手法は、標準ベンチマークにおいて既存の教師なしオブジェクトセグメンテーション手法を上回り、新たな最先端性能を達成した。
• 実際のImageNet画像の潜在空間埋め込みを用いることで性能が顕著に向上し、意味的整合性が合成教師信号の質を向上させることを示している。
• SOTAの類似度マスクモデルを用いて評価したところ、合成マスク上でIoUが0.412、精度が0.720を達成した。これは合成データが学習に有効であることを示している。
• アブレーションスタディの結果、性能向上の最大の要因は実画像の潜在コードの使用であることが判明し、意味的整合性の重要性が強調された。
• A₁とA₂の共通最適化により生成された合成マスクは、個々のサンプルごとの最適化結果とほぼ同一（IoU 0.86、精度 0.96）であり、ロバストネスと安定性が裏付けられた。
• 画像生成品質が主な性能ボトルネックであることが、同じ合成画像を用いたU-2-Netガイドドモデルの優れた性能から示された。