[論文レビュー] Physically-Based Rendering for Indoor Scene Understanding Using Convolutional Neural Networks

Yinda Zhang, Shuran Song+5 more|arXiv (Cornell University)|Dec 22, 2016

Robotics and Sensor-Based Localization参考文献 22被引用数 5

ひとこと要約

本論文は、45,000体の3Dシーンから生成された50万枚の物理ベースレンダリングを用いた屋内画像から構成される大規模な合成データセットを紹介し、屋内シーン理解の向上を図るものである。実際の照明とレンダリングを用いて畳み込みニューラルネットワークを事前学習することで、実データへの微調整後、セマンティックセグメンテーション、表面法線予測、オブジェクト境界検出の分野で最先端の性能を達成した。

ABSTRACT

Indoor scene understanding is central to applications such as robot navigation and human companion assistance. Over the last years, data-driven deep neural networks have outperformed many traditional approaches thanks to their representation learning capabilities. One of the bottlenecks in training for better representations is the amount of available per-pixel ground truth data that is required for core scene understanding tasks such as semantic segmentation, normal prediction, and object edge detection. To address this problem, a number of works proposed using synthetic data. However, a systematic study of how such synthetic data is generated is missing. In this work, we introduce a large-scale synthetic dataset with 400K physically-based rendered images from 45K realistic 3D indoor scenes. We study the effects of rendering methods and scene lighting on training for three computer vision tasks: surface normal prediction, semantic segmentation, and object boundary detection. This study provides insights into the best practices for training with synthetic data (more realistic rendering is worth it) and shows that pretraining with our new synthetic dataset can improve results beyond the current state of the art on all three tasks.

研究の動機と目的

• 屋内シーン理解タスクにおける大規模で高品質なピクセル単位のアノテーションデータの不足に取り組むこと。
• レンダリング手法や照明条件が、セマンティックセグメンテーション、法線予測、境界検出の分野におけるディープラーニング性能に与える影響を調査すること。
• 物理ベースレンダリングと現実的な照明を用いることで、最先端の手法を上回る汎化性能と性能向上が達成されることを示すこと。
• 学習およびベンチマークのための、密集したピクセルレベルのアノテーションを備えた大規模で文脈豊かな合成データセットを提供すること。
• 屋内シーンの表現学習におけるオブジェクトの文脈、照明、レンダリング品質の系統的かつ体系的な研究を可能にすること。

提案手法

• 著者らは、正確な照明と素材モデルを備えた物理ベースレンダリングパイプラインを用いて、45,000体の人間が設計した3D屋内シーンから50万枚の画像を生成した。
• 1シーンあたり3枚のレンダリングを生成した：1枚はOpenGLベースのレンダリング（単純で現実的ではない）、残り2枚は異なる照明設定を用いた物理ベースレンダリング（MLT-IL/OL）。
• 各画像にはピクセル単位のアノテーション（表面法線、セマンティックセグメンテーションラベル、オブジェクト境界マップ）が付随している。
• ImageNetベースまたはRGBベースの初期化を用いて、合成データセット上で事前学習を実施し、その後NYUv2などの実世界ベンチマークで微調整を行った。
• 異なるレンダリング技術（OpenGL 対 MLT）および学習プロトコル（合成データでの事前学習対 実データでの学習のみ）の性能を比較した。
• 先行する最先端手法（例：境界検出にはVGG-16ベース、セグメンテーションにはHHAベース）のネットワークアーキテクチャを用い、合成データでの事前学習に適応した。

実験結果

リサーチクエスチョン

• RQ1 物理ベースレンダリングと現実的な照明を用いる場合と、単純なレンダリング手法（例：OpenGL）を用いる場合とを比較した場合、下流のシーン理解性能にどのような差が生じるか？
• RQ2 文脈的に正確な屋内シーンを含む合成データで事前学習を実施することで、セマンティックセグメンテーション、法線予測、境界検出の性能がどの程度向上するか？
• RQ3 オブジェクトの文脈（文脈内 vs 文脈外）および照明条件が、ディープニューラルネットワークの屋内シーン理解における汎化性能に与える影響はいかほどか？
• RQ4 高精細なレンダリングと密集したアノテーションを備えた合成データは、実データのみを用いた学習戦略を上回る性能を発揮できるか？
• RQ5 最良の結果を得るためのレンダリング手法、照明、および学習プロトコルの最適な組み合わせは何か？

主な発見

• 物理ベースレンダリング（MLT-IL/OL）を用いた本合成データセットでの事前学習により、NYUv2のセマンティックセグメンテーションにおける平均交差率（mIoU）が33.2%に向上し、以前の最先端性能を上回った。
• MLTレンダリングデータで事前学習したモデルは、オブジェクト境界検出においてOSD（Fスコア）0.725およびOIS 0.736を達成し、以前のSOTAを上回った。
• MLTレンダリングによる合成データでの事前学習は、テクスチャ領域や背景領域における誤検出エッジを低減するとともに、真のオブジェクト境界を強化したことが、視覚的比較で示された。
• MLTレンダリングデータで事前学習したモデルは、表面法線予測の精度を向上させ、特に物理ベースの照明とやわらかい影を用いた場合に最も優れた結果が得られた。
• 本研究では、適切な影や素材の反射を含む現実的なレンダリングが、OpenGLベースのレンダリングに比べてモデルの汎化性能を顕著に向上させることを明らかにした。
• 深度の監視がなくても、合成データセットで事前学習したモデルは、実データでの微調整のみに依存するモデルよりも優れた性能を示した。これは、視覚的リアリズムに富んだ合成データの価値を示している。