[論文レビュー] Semantic-aware Grad-GAN for Virtual-to-Real Urban Scene Adaption

Peilun Li, Xiaodan Liang+2 more|arXiv (Cornell University)|Jan 5, 2018

Advanced Vision and Imaging参考文献 41被引用数 58

ひとこと要約

SG-GAN を提案します。これはセマンティック対応・勾配ガイド付きの GAN で、仮想世界から実世界への都市景観適応においてセマンティック境界を保持し、領域特異的なテクスチャをレンダリングするセマンティック対応型判別器を使用して下流のセマンティック分割を改善します。

ABSTRACT

Recent advances in vision tasks (e.g., segmentation) highly depend on the availability of large-scale real-world image annotations obtained by cumbersome human labors. Moreover, the perception performance often drops significantly for new scenarios, due to the poor generalization capability of models trained on limited and biased annotations. In this work, we resort to transfer knowledge from automatically rendered scene annotations in virtual-world to facilitate real-world visual tasks. Although virtual-world annotations can be ideally diverse and unlimited, the discrepant data distributions between virtual and real-world make it challenging for knowledge transferring. We thus propose a novel Semantic-aware Grad-GAN (SG-GAN) to perform virtual-to-real domain adaption with the ability of retaining vital semantic information. Beyond the simple holistic color/texture transformation achieved by prior works, SG-GAN successfully personalizes the appearance adaption for each semantic region in order to preserve their key characteristic for better recognition. It presents two main contributions to traditional GANs: 1) a soft gradient-sensitive objective for keeping semantic boundaries; 2) a semantic-aware discriminator for validating the fidelity of personalized adaptions with respect to each semantic region. Qualitative and quantitative experiments demonstrate the superiority of our SG-GAN in scene adaption over state-of-the-art GANs. Further evaluations on semantic segmentation on Cityscapes show using adapted virtual images by SG-GAN dramatically improves segmentation performance than original virtual data. We release our code at https://github.com/Peilun-Li/SG-GAN.

研究の動機と目的

• 自動生成された仮想世界の注釈から現実世界の認識タスクへ知識を移転させることにより、アノテーション負担を軽減する動機付け。
• セマンティック領域（例：道路、車）間で外観を適応させつつ、セマンティック情報を保持して現実世界の分布に近づける。
• 適応中にセマンティック境界を維持するためのソフト勾配感度の目的関数を導入する。
• セマンティック領域ごとの忠実度を評価するセマンティック対応型判別器を導入し、全体的な一様なグローバル変化を避ける。

提案手法

• 仮想-to-real および real-to-virtual 適応のための二つの生成器と、二つのセマンティック対応判別器を備えた SG-GAN を提案する。
• 敵対的損失、サイクル整合性損失、および画像勾配をセマンティック境界と整合させる新しいソフト勾配感度損失を組み込む。
• 境界整合勾配差に焦点を当てる L_grad を定義し、領域特有のテクスチャ変化を可能にする。
• セマンティック領域対応のリアリズムを強制する SD_V と SD_R を開発し、ワンホットなセマンティックマスクを用いて判別器の特徴を調整する。
• GTA-V と Cityscapes の非対になデータで訓練し、データ量の効果を調べるために SG-GAN-2K および SG-GAN-25K の変種を用いる。
• 適応済み仮想データを用いた Cityscapes セマンティック分割で性能向上を示す。

実験結果

リサーチクエスチョン

• RQ1 仮想世界のラベル付きデータを現実世界の分布へ、セマンティック整合性を損なうことなく効果的に変換できるか？
• RQ2 勾配感度のある目的関数とセマンティック対応判別器は、仮想-to--real 適応中の境界の保持と領域特異的なテクスチャレンダリングを改善するか？
• RQ3 仮想世界のトレーニングデータを増やすと、適応と下流の分割性能はどの程度改善されるか？

主な発見

手法	ピクセル精度	クラス精度	クラス IOU
Baseline	54.51	35.95	24.60
Hoffman et al. [18]	–	–	27.10
CycleGAN [47]	71.61	42.98	28.15
SG-GAN-2K	72.65	45.87	33.81
SG-GAN-25K	81.72	47.29	37.43

• SG-GAN はベースラインと比較して、定性的により鋭いセマンティック境界とより細かな領域特異的テクスチャをもたらす。
• A/B テストでは、現実性評価で SG-GAN が CycleGAN、DualGAN、SimGAN、BiGAN を上回ることを示した。
• SG-GAN で GTA-V データを適応させると、元の仮想データを用いた場合より Cityscapes のセマンティック分割が著しく改善される。
• セマンティック対応判別器は、グローバル判別器では捉えられない領域特異的なトーンやテクスチャの変化（例：信号機、空など）を可能にする。
• 仮想データを 2K から 25K に増やすと、現実性と分割指標に追加的だが減衰する効果が得られる。