[論文レビュー] SPIGAN: Privileged Adversarial Learning from Simulation

Kuan-Hui Lee, Germán Ros+2 more|arXiv (Cornell University)|Oct 9, 2018

Domain Adaptation and Few-Shot Learning参考文献 59被引用数 27

ひとこと要約

SPIGANは、生成対抗ネットワーク（GAN）を用いてシミュレータから得られる特権情報（PI）であるzバッファ深度を活用することで、セマンティックセグメンテーションにおけるシミュレーションから現実世界へのギャップを埋める、画期的な教師なしドメイン適応フレームワークを提案する。ジェネレータ、ディスクラミネータ、タスクネットワーク、特権ネットワークを同時に学習させることで、Cityscapes や Vistas などの現実世界データセットにおける性能が向上し、特に 'human' カテゴリで最大 +15% のIoU向上を達成し、最先端の手法を上回る。

ABSTRACT

Deep Learning for Computer Vision depends mainly on the source of supervision.Photo-realistic simulators can generate large-scale automatically labeled syntheticdata, but introduce a domain gap negatively impacting performance. We propose anew unsupervised domain adaptation algorithm, called SPIGAN, relying on Sim-ulator Privileged Information (PI) and Generative Adversarial Networks (GAN).We use internal data from the simulator as PI during the training of a target tasknetwork. We experimentally evaluate our approach on semantic segmentation. Wetrain the networks on real-world Cityscapes and Vistas datasets, using only unla-beled real-world images and synthetic labeled data with z-buffer (depth) PI fromthe SYNTHIA dataset. Our method improves over no adaptation and state-of-the-art unsupervised domain adaptation techniques.

研究の動機と目的

• ディープラーニングを用いたコンピュータビジョンにおける合成シミュレーションデータと現実世界の画像の間の大きなドメインギャップを解消すること。
• ターゲットドメインの現実世界アノテーションを一切必要としない教師なしドメイン適応を可能にすること。
• シミュレータ内で生成された内部の特権情報（例：zバッファからの深度）を、訓練中に正則化子として活用すること。
• 特に視覚的に多様な現実世界データセットにおいて、一般化性能を向上させ、負のトランスファーを低減すること。
• 画像変換、タスク予測、特権情報モデリングを統合的に最適化する統一フレームワークの構築

提案手法

• ジェネレータネットワークは、シミュレータからの合成画像（例：SYNTHIA）を、現実世界の画像（例：Cityscapes や Vistas）に似せるように訓練される。
• ディスクラミネータネットワークは、実画像と生成画像を区別することで、ピクセルレベルの分布整合性を強制する。
• タスクネットワークは、適応された画像からセマンティックセグメンテーションラベルを予測し、ジェネレータおよびディスクラミネータとエンドツーエンドで訓練される。
• 特権ネットワークは、合成画像および適応済み画像の両方を入力とし、シミュレータ固有のPI（例：zバッファからの深度）を予測する。このネットワークは補助タスクおよび正則化子として機能する。
• 敵対的損失、サイクル整合性、PI予測損失を統合的に最適化し、PIがジェネレータが構造的一致性を保持するのをガイドする。
• 実画像と合成画像のペアは使用しないが、訓練中に現実世界のラベルは一切使用しない。

実験結果

リサーチクエスチョン

• RQ1 シミュレータからの特権情報が、セマンティックセグメンテーションにおける教師なしドメイン適応を改善できるか？
• RQ2 特権情報として深度（zバッファ）を組み込むことで、ドメイン適応モデルの性能と頑健性にどのような影響を与えるか？
• RQ3 特に視覚的に多様なデータセットにおいて、合成から現実世界への適応時に特権情報を用いることで、負のトランスファーが軽減されるか？
• RQ4 SPIGANは、セグメンテーション精度およびドメインギャップ低減の観点で、最先端の教師なしドメイン適応手法と比較してどのように差をつけるか？
• RQ5 特権情報は、'human' や 'vehicle' のような困難なカテゴリにおける一般化性能をどの程度向上させるか？

主な発見

• Cityscapesの'human'カテゴリにおいて、SPIGANは平均IoUを+15%向上させ、セグメンテーションにおいて特に挑戦的なクラスである。
• Vistasデータセットでは、SPIGANは元のモデル比で+4.3%の平均IoU向上を達成し、視覚的に多様な現実世界データへの有効性を示している。
• SPIGAN-no-PIはVistasにおいて元のモデル比で13%劣化しており、ドメインギャップが大きい状況では特権情報がなければ負のトランスファーが生じることを示している。
• 評価画像の80%がSPIGAN-no-PIのケースでIoUが低下している一方、SPIGANでは42%にとどまっている。これは特権情報が一般化性能にとって極めて重要な役割を果たしていることを示している。
• 定性的な結果から、SPIGANは複雑な環境（例：Vistas）においても、より一貫性があり、シーン構造に配慮した適応を生成しており、特権情報なしの手法で見られるアーティファクトを低減している。
• CityscapesおよびVistasの両データセットにおいて、SPIGANは最先端の教師なしドメイン適応手法を上回っており、ドメインシフトの程度が異なるデータセットに対しても頑健であることが確認された。