[論文レビュー] Unsupervised Object Segmentation by Redrawing

Mickaël Chen, Thierry Artières+1 more|arXiv (Cornell University)|May 27, 2019

Advanced Neural Network Applications参考文献 62被引用数 61

ひとこと要約

ReDO は、GAN鑑別器に導かれた、元のラベルなしで画像中の物体を再描画できる生成過程を強制することで、画像のセグメンテーションを学習します。限られたラベルデータで、教師ありベースラインと競合するセグメンテーションマスクを生み出します。

ABSTRACT

Object segmentation is a crucial problem that is usually solved by using supervised learning approaches over very large datasets composed of both images and corresponding object masks. Since the masks have to be provided at pixel level, building such a dataset for any new domain can be very time-consuming. We present ReDO, a new model able to extract objects from images without any annotation in an unsupervised way. It relies on the idea that it should be possible to change the textures or colors of the objects without changing the overall distribution of the dataset. Following this assumption, our approach is based on an adversarial architecture where the generator is guided by an input sample: given an image, it extracts the object mask, then redraws a new object at the same location. The generator is controlled by a discriminator that ensures that the distribution of generated images is aligned to the original one. We experiment with this method on different datasets and demonstrate the good quality of extracted masks.

研究の動機と目的

• 現実感を損なうことなく入れ替え可能な独立した領域としてシーンをモデル化することで、教師なしセグメンテーションの動機付けを行う。
• ReDOを提案する。マスク抽出器と領域ごとの生成器が、物体を再描画して現実的な画像を再構成するよう学習する対戦的フレームワーク。
• 空のマスクやすべてを1つの領域にまとめる等の自明な解を避け、描画領域の情報を保持する制約を課す。

提案手法

• マスク M^k を用いて領域を構成し、物体ピクセル V^k を独立に描画し、それを組み合わせて最終画像 I を得るという3段階の生成過程を定義する。
• F（マスク抽出器）と G_k（領域生成器）を、実データ分布への適合性を保証する識別器 D を用いたGAN目的関数で学習する。
• 訓練中はトリビアル解を防ぎ、意味のあるセグメンテーションを強制するため、描画は訓練中に1つの領域ずつ実行される。
• 出力から対応する潜在コード z_i を回復できることを保証して情報保持を強化する。InfoGAN のアイデアに類似。
• ヒンジGAN損失と対戦学習ループを用いて、G_F（結合生成器）と D を最適化する。
• アーキテクチャ: F は PSPNet様のエンコーダとピラミッドプーリングに基づく; G_k と D はスペクトral正規化と自己注意を取り入れた SAGAN に触発; テクスチャ/色をエンコードするため G_k に条件付きバッチ正規化。
• 訓練の安定性: ハイパーパラメータ調整と時折の再起動で空のマスクへの崩壊を管理。

実験結果

リサーチクエスチョン

• RQ1 分布を保ちながらオブジェクト内容を入れ替える生成過程をモデル化することで、完全に教師なしの学習が意味のある物体セグメンテーションマスクを発見できますか？
• RQ2 マスク抽出器 F と各オブジェクト生成器 G_k は、再構成画像が実画像と識別不能になるように物体を再描画することをどの程度うまく学習できるか。
• RQ3 自明な解を防ぎ、描画領域に関する情報が保持されるようにするには、どのような制約が必要か。
• RQ4 現実世界データセット（LFW、Flowers、CUB）における ReDO の性能は、ラベル付きデータが限定された教師付きベースラインと比較してどうか、また多クラス/未知の物体を扱えるか。
• RQ5 ラベルなしで Flowers+LFW のような統合データセットに対して、教師なしマスクは一般化できるか。

主な発見

Dataset	Train Acc	Train IoU	Test Acc	Test IoU
LFW	-	-	0.917 b1 0.002	0.781 b1 0.005
CUB	0.840 b1 0.012	0.423 b1 0.023	0.845 b1 0.012	0.426 b1 0.025
Flowers*	0.886 b1 0.008	0.780 b1 0.012	0.879 b1 0.008	0.764 b1 0.012
Flowers+LFW	-	-	0.856	0.691

• ReDO は、データセットをまたいで意味のある領域ごとの再描画を可能にする非自明な物体マスクを生成する。
• LFW では、訓練時にラベルを使用せず、テストで 0.917 の精度と 0.781 の IoU を達成。
• CUB-200-2011 では、テスト精度 0.845、IoU 0.426、訓練精度 0.840、訓練 IoU 0.423。
• Flowers* では、テスト精度 0.879、IoU 0.764、訓練精度 0.886、訓練 IoU 0.780。
• Flowers+LFW の統合データセットでは、ラベルなしでテスト精度 0.856、IoU 0.691。
• ラベル付きデータが限定された教師付きベースラインと比較して、教師なしモデルは同等の性能を発揮し、LFW では約 50–60 のラベル付き例で訓練した教師付きモデルに匹敵できる。
• 定性的結果は、推定されたマスクが物体様の領域と一致し、再描画された物体が潜在コード z_i を介してターゲットのテクスチャ/色を保持することを示している。