[論文レビュー] Semantic Road Layout Understanding by Generative Adversarial Inpainting

Lorenzo Berlincioni, Federico Becattini+3 more|arXiv (Cornell University)|May 29, 2018

Generative Adversarial Networks and Image Synthesis参考文献 32被引用数 6

ひとこと要約

この論文では、RGB画像ではなく、セマンティックセグメンテーションマップから動的オブジェクトを除去することで、遮蔽されたレーン構造を再構築するGANベースのセマンティックインpaintingモデルを提案する。本手法は、特に道路や歩道のような静的シーン構造の回復において、RGBインパインティングおよびセグメンテーションベースラインを上回る高い精度を達成しており、自動運転におけるシーン理解において、直接的なセマンティックインパインティングが画像間変換よりも優れていることを示している。

ABSTRACT

Autonomous driving is becoming a reality, yet vehicles still need to rely on complex sensor fusion to understand the scene they act in. The ability to discern static environment and dynamic entities provides a comprehension of the road layout that poses constraints to the reasoning process about moving objects. We pursue this through a GAN-based semantic segmentation inpainting model to remove all dynamic objects from the scene and focus on understanding its static components such as streets, sidewalks and buildings. We evaluate this task on the Cityscapes dataset and on a novel synthetically generated dataset obtained with the CARLA simulator and specifically designed to quantitatively evaluate semantic segmentation inpaintings. We compare our methods with a variety of baselines working both in the RGB and segmentation domains.

研究の動機と目的

• 車両や歩行者といった動的オブジェクトによる遮蔽にもかかわらず、自動運転において静的レーン構造を理解する課題に対処すること。
• RGB画像ではなくセグメンテーションマップから直接欠損したシーン構造を再構築する、新たなセマンティックインパインティングモデルの開発。
• 実データ（Cityscapes）と合成データ（CARLA生成）の両方で評価することで、モデルの頑健性と定量的評価の妥当性を確保すること。
• セマンティックインパインティングが、レーン構造の構造的正確性を保つ点で、RGBインパインティングおよび標準的なセグメンテーションパイプラインを上回ることの実証。
• 部分的に遮蔽された視覚から物理的に整合性のあるシーン構造を回復することで、より信頼性の高い軌道計画および障害物回避を可能にすること。

提案手法

• 本手法は、周囲の静的クラスからのコンテキストを用いて、セマンティックセグメンテーションマップのマスク領域を条件付きGANアーキテクチャでインパインティングする。
• 動的オブジェクトマスクは、RGB画像上で事前学習済みのDeepLab-v3+モデルを用いて生成され、それがセグメンテーションマップにおけるインパインティング領域を定義する。
• 生成器はセマンティックコンテキストに注目することで、現実的な空間的レイアウトを再構築するが、判別器は予測クラスの分布が現実的であることを保証する。
• モデルは、CityscapesおよびCARLAシミュレータで生成された新規な合成データセット上で、クラスに特化した損失関数を用いてエンドツーエンドで訓練される。
• 2つのパイプラインバリエーションが評価された：セグメンテーションマップを直接インパインティングする方法、およびRGB画像をまずインパインティングしてからセグメンテーションを実行する方法。
• 本手法は、セマンティックマップの構造的一致性を活用することで、RGBインパインティングで一般的に生じるテクスチャベースの再構築誤差を回避する。

実験結果

リサーチクエスチョン

• RQ1 GANベースのモデルは、RGB画像ではなくセマンティックセグメンテーションマップから遮蔽されたレーン構造を効果的に再構築できるか？
• RQ2 直接的なセマンティックインパインティングは、RGBインパインティング後にセグメンテーションを実行する方法と比較して、構造的正確性およびレイアウト回復の観点で優れているか？
• RQ3 本モデルは、遮蔽の程度が異なる実世界（Cityscapes）および合成（CARLA）の都市部走行シナリオに一般化できるか？
• RQ4 本手法は、しばしばセグメンテーションが困難な細分化された構造（フェンス、電柱など）をどの程度正確に保持できるか？
• RQ5 入力セグメンテーションが弱い教師付きモデルからのものであっても、物理的に意味のあるシーンレイアウトを回復できるか？

主な発見

• 提案されたセマンティックインパインティングモデルは、特にフェンスや電柱といった細分化されたクラスにおいて、RGBインパインティングベースラインを著しく上回る精度を達成している。
• MICC-SRI合成データセットでは、すべてのベースラインを上回り、最近傍探索ベースのRGBインパインティングと比較してmIoUで20ポイントの改善を示した。
• セグメンテーションマップに直接インパインティングを行うことで、RGBインパインティング後にセグメンテーションを実行する方法よりも優れた結果が得られた。これは、テクスチャベースの再構築による誤差伝搬が低減されたためである。
• 混同行列の結果、道路、建物、歩道といった大規模クラスでは優れた性能を示したが、フェンス、電柱といった小規模で細分化された構造物では精度が低く、これらはセグメンテーションモデルにとって本質的に困難な課題である。
• DeepLab-v3+の予測結果を用いても、真値セグメンテーションではなくても、モデルは高い性能を維持しており、セグメンテーションノイズに対して頑健であることが示された。
• 定性的な結果から、本手法は空間的連続性と境界の一貫性を保った、整合的で構造的に妥当なレイアウトを生成することが確認された。