[論文レビュー] SeGAN: Segmenting and Generating the Invisible

Kiana Ehsani, Roozbeh Mottaghi+1 more|arXiv (Cornell University)|Mar 29, 2017

Advanced Neural Network Applications参考文献 49被引用数 4

ひとこと要約

SeGANは、合成でリアルな訓練データを用いて、遮蔽された物体の見えない部分を同時にセグメンテーションし、生成するGANベースのモデルを提案する。このモデルは、見えない領域のセグメンテーション、リアルな外観の生成、遮蔽関係からの深度レイヤーの推定において、微調整なしに自然画像へも効果的に一般化でき、最先端の手法を上回る性能を発揮する。

ABSTRACT

Objects often occlude each other in scenes; Inferring their appearance beyond their visible parts plays an important role in scene understanding, depth estimation, object interaction and manipulation. In this paper, we study the challenging problem of completing the appearance of occluded objects. Doing so requires knowing which pixels to paint (segmenting the invisible parts of objects) and what color to paint them (generating the invisible parts). Our proposed novel solution, SeGAN, jointly optimizes for both segmentation and generation of the invisible parts of objects. Our experimental results show that: (a) SeGAN can learn to generate the appearance of the occluded parts of objects; (b) SeGAN outperforms state-of-the-art segmentation baselines for the invisible parts of objects; (c) trained on synthetic photo realistic images, SeGAN can reliably segment natural images; (d) by reasoning about occluder occludee relations, our method can infer depth layering.

研究の動機と目的

• 物体が部分的に隠されている状況において、遮蔽された物体部分の外観とセグメンテーションを推定する課題に対処すること。
• 分離されたセグメンテーションや生成アプローチの限界を克服するため、見えない領域のセグメンテーションとそのリアルな外観の生成を同時に最適化すること。
• 人間による見えない領域のデータに伴う主観性やノイズを避けるために、正確な遮蔽境界を備えた大規模で高精度な合成データから学習すること。
• 微調整なしに合成訓練データから実世界の自然画像へゼロショット一般化を可能にすること。
• 遮蔽者の-遮蔽される者の関係をモデル化することで、明示的な深度監督なしに相対的な深度順序を推定すること。

提案手法

• 生成器は、入力画像と可視マスクを入力として、見えない物体部分のセグメンテーションマスクと外観を同時に予測する条件付きGANフレームワークを採用する。
• 二本のストリームを持つ生成器アーキテクチャを採用：一方のブランチは見えないセグメンテーションマスク（SI）を予測し、もう一方はその領域のピクセル単位の外観を生成する。
• 識別器は、実際の画像-マスクペアと生成されたペアを区別するように訓練され、外観のリアルさと空間的一致性の両方を強制する。
• 訓練は、真の遮蔽境界が明確に与えられた合成的でリアルなシーンに限定して実施され、見えない領域に対する正確な監督が可能になる。
• アーキテクチャはカテゴリに依存せず、セマンティックカテゴリラベルを必要とせず、空間的および遮蔽の推論に依存する。
• 深度レイヤーは、潜在的な遮蔽者（occluder）の可視マスクと、遮蔽される者（occludee）の予測された見えないマスクとのインターセクションオーバーラップ（IoU）をチェックすることで推定され、5%の閾値が用いられる。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、遮蔽されたシーンにおける見えない物体部分のセグメンテーションと外観生成を同時に学習できるか？
• RQ2 セグメンテーションと生成の共同最適化は、分離的または逐次的なアプローチよりも優れた性能をもたらすか？
• RQ3 合成データで訓練されたモデルは、微調整なしに実世界の自然画像へ一般化できるか？
• RQ4 明示的な深度監督なしに、遮蔽パターンから深度レイヤーを推定できるか？
• RQ5 セグメンテーション、外観生成、深度順序付けの観点で、最先端のベースラインと比較して、モデルの性能はどの程度か？

主な発見

• SeGANは、合成データ上での見えない領域の予測において、最先端のセグメンテーションベースラインを上回り、SI IoUが58.9%を達成した。
• 自然画像においても、SeGANは合成データでのみ訓練されたにもかかわらず、効果的に一般化し、SI IoUが50.7%を達成した。
• モデルは、外観生成の質において、GANベースのベースラインを上回るリアルな外観を生成した。
• 合成データ上では、SeGANは深度レイヤー推定で84.04%の精度を達成し、単一画像深度ベースライン（60.18%）を著しく上回った。
• 合成データと自然データを併用して訓練すると性能が低下したため、ドメインギャップの課題が示された。
• モデルはマスクのインターセクションを分析することで、遮蔽者の-遮蔽される者の関係を正しく推定し、遮蔽の手がかりのみで相対的な深度順序を可能にした。