[論文レビュー] Unsupervised Foreground-Background Segmentation with Equivariant Layered GANs.

Yang Yu, Hakan Bilen+3 more|arXiv (Cornell University)|Apr 1, 2021

Advanced Neural Network Applications参考文献 62被引用数 7

ひとこと要約

本稿では、非教師ありの前景・背景セグメンテーション手法を提案する。等長性レイヤードGANを用い、プライベートコード回復と等長性正則化によって前景と背景を分離することで、合成の擬似セグメンテーションデータを生成する。本手法は、教師ありアノテーションデータを一切必要とせず、Caltech-UCSD BirdsおよびLSUN Carデータセットで最先端の性能を達成する。

ABSTRACT

We propose an unsupervised foreground-background segmentation method via training a segmentation network on the synthetic pseudo segmentation dataset generated from GANs, which are trained from a collection of images without annotations to explicitly disentangle foreground and background. To efficiently generate foreground and background layers and overlay them to compose novel images, the construction of such GANs is fulfilled by our proposed Equivariant Layered GAN, whose improvement, compared to the precedented layered GAN, is embodied in the following two aspects. (1) The disentanglement of foreground and background is improved by extending the previous perturbation strategy and introducing private code recovery that reconstructs the private code of foreground from the composite image. (2) The latent space of the layered GANs is regularized by minimizing our proposed equivariance loss, resulting in interpretable latent codes and better disentanglement of foreground and background. Our methods are evaluated on unsupervised object segmentation datasets including Caltech-UCSD Birds and LSUN Car, achieving state-of-the-art performance.

研究の動機と目的

• 教師ありアノテーションの欠如に起因する前景・背景セグメンテーションの課題を、GANから生成された合成の擬似セグメンテーションデータによって解決すること。
• より良いセグメンテーション性能を得るために、GANベースの画像生成における前景と背景の分離度を向上させること。
• 新たな正則化手法を用いて、レイヤードGANにおける解釈可能で分離された潜在表現を実現すること。
• 人為的アノテーションマスクを一切使用せずに、ベンチマークデータセットで非教師ありオブジェクトセグメンテーションの最先端の結果を達成すること。

提案手法

• 本手法は、ペairドでない画像を用いてレイヤードGANを訓練し、前景と背景の成分を明示的に分離する。
• 前景コードを合成画像から再構成するためのプライベートコード回復を導入し、分離度を向上させる。
• 潜在空間における一貫性と解釈可能性を保証するため、等長性損失を提案する。
• GANは前景と背景のレイヤーを別々に生成し、それらを合成して訓練用の新しい画像を生成する。
• セグメンテーションネットワークは、GANが生成したレイヤーから導出された合成の擬似セグメンテーションラベルで訓練される。
• 本手法は、プライベートコードの再構成による強化された分離度を有する摂動戦略を活用する。

実験結果

リサーチクエスチョン

• RQ1 GANから生成された合成の擬似セグメンテーションデータを用いて、非教師ありの前景・背景セグメンテーションを効果的に実現できるか？
• RQ2 教師なし条件下で、レイヤードGANにおける前景と背景の分離度をどのように向上させられるか？
• RQ3 潜在空間における等長性正則化が、分離度およびセグメンテーション性能にどの程度向上効果をもたらすか？
• RQ4 合成画像からのプライベートコード回復は、前景再構成およびセグメンテーションの品質向上に寄与するか？
• RQ5 提案手法は、標準ベンチマークにおいて既存の非教師ありセグメンテーション手法を上回る性能を示すか？

主な発見

• 提案手法は、非教師あり前景・背景セグメンテーションにおいてCaltech-UCSD Birdsデータセットで最先端の性能を達成した。
• LSUN Carデータセットでは、先行する非教師ありアプローチと比較して優れたセグメンテーション精度を示した。
• プライベートコード回復により、前景再構成品質が顕著に向上し、分離度の向上に寄与した。
• 等長性損失により、より解釈可能で分離された潜在コードが得られ、生成レイヤーの品質が向上した。
• 合成の擬似セグメンテーションデータの使用により、人為的アノテーションマスクが一切不要な状態で、セグメンテーションネットワークの有効な訓練が可能となった。