[論文レビュー] Synscapes: A Photorealistic Synthetic Dataset for Street Scene Parsing

Magnus Wrenninge, Jonas Unger|arXiv (Cornell University)|Oct 19, 2018

Advanced Vision and Imaging参考文献 5被引用数 144

ひとこと要約

Synscapesは、 unbiased path tracing と広くデコレlated なシナリオ変動を用いて作成された、街路風景のパースタスクのフォトリアリスティックな合成データセットです。本論は、synthetic-to-real transfer（合成データから実データへの移行）、テスト/検証での利用、そしてデータセット駆動の細粒度なモデル解析を分析します。

ABSTRACT

We introduce Synscapes -- a synthetic dataset for street scene parsing created using photorealistic rendering techniques, and show state-of-the-art results for training and validation as well as new types of analysis. We study the behavior of networks trained on real data when performing inference on synthetic data: a key factor in determining the equivalence of simulation environments. We also compare the behavior of networks trained on synthetic data and evaluated on real-world data. Additionally, by analyzing pre-trained, existing segmentation and detection models, we illustrate how uncorrelated images along with a detailed set of annotations open up new avenues for analysis of computer vision systems, providing fine-grain information about how a model's performance changes according to factors such as distance, occlusion and relative object orientation.

研究の動機と目的

• 高度にフォトリアリスティックな合成データが、街路風景認識モデルの訓練と検証に使用できることを示す。
• 完全に相関を取り除いたシナリオパラメータと豊富なメタデータを備えた、手続き的に生成されたデータセットを提供し、モデル挙動の制御可能な分析を可能にする。
• 合成データの性能を実データや他の合成データセットと比較する。
• 距離、オクルージョン、方位といった要因がモデル性能に与える影響を、合成データがどのように細粒度に解析できるかを示す。

提案手法

• バイアスのないパストレースを用いて、センサー、光学系、カメラパイプラインの全工程をシミュレートした状態で、25,000枚のユニークなRGB画像をレンダリングする。
• 各シーンをデコレlated（相関のない）シナリオパラメータから手続き的に生成し、広範な変化を確保する（例：車両、歩行者、天候、時刻など）。
• シーン、カメラ、インスタンスを説明するクラス・インスタンス・深度のアノテーションとJSONメタデータを提供する。
• Cityscapesで事前学習したFRRNとDeepLab v3+を用いて意味セグメンテーションを評価し、Synscapesおよび他の合成データセットに対するドメイン横断性能を検証する。
• Faster R-CNN（ResNet-101）を用いた物体検出実験を、SynscapesとKITTIの組み合わせを含むクロスドメイン訓練/ファインチューニング設定で実施する。
• データセットの影響を、可視化スクリプトとメタデータ駆動のスライシングを用いて、方位、遮蔽、シーンパラメータがモデル性能に及ぼす影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 フォトリアリスティックな合成データは、実世界データと比較してセマンティックセグメンテーションと検出モデルの検証に有効か？
• RQ2 合成データは効果的な訓練素材になり得るか、実データでの微調整は合成前提の事前学習とどのように相互作用するか？
• RQ3 モデル性能に影響を与える細かな要因（方位、距離、遮蔽、照明）は何で、Synscapesのメタデータはこれらの影響をどう明らかにできるか？

主な発見

• Cityscapesで訓練したDeepLabとFRRNは、Synscapes上で最も良い性能を示し、他の合成データセットに比べてドメインシフトが小さいことを示している。
• 事前学習済みCityscapesモデルは、Synscapes上で自己検証の精度が Richter（87%）や Synthia（57%）より高い（87%）。
• KITTIで訓練したFaster R-CNNは、SynscapesとKITTIを組み合わせてファインチューニングすると、KITTI単独よりも高いmAPを達成する場合があり、合成データによるクロスドメインの利得を示す。
• Synscapesを用いたCityscapesと組み合わせた学習は、19クラスのCityscapesクラス全体にわたり、クラス別の大幅な改善を実現する。
• 運動ブラー（ego_speed）や日照高度（sun_height）などの要因で、物体検出とセグメンテーションの性能が低下し、クラスや距離ごとに特定の影響が生じる。
• Cityscapesと組み合わせたSynscapesの使用は、GTA/Richter、Synthiaなど他の合成データセットと比較してドメインシフトを低減し、転移学習を改善する可能性がある。