[論文レビュー] READ: Large-Scale Neural Scene Rendering for Autonomous Driving

Zhuopeng Li, Lu Li+4 more|arXiv (Cornell University)|May 11, 2022

Computer Graphics and Visualization Techniques被引用数 5

ひとこと要約

本稿では、自動運転向けに大規模なニューラルシーンレンダリング手法であるREADを提案する。この手法は、スパースな点群データを用いて、$ω$-ネットワークを用いてマルチスケールのニューラル記述子をフィルタリング・統合することで、写真同等のリアルな自由視点ドライブシーンを合成する。本手法により、コンsumerグレードのハードウェアでも効率的かつ高精度なレンダリングが可能となり、シーン編集やステッチングに対応できる。KITTIやその他のベンチマークにおいて、定量的・定性的な両面で最先端の性能を達成した。

ABSTRACT

Synthesizing free-view photo-realistic images is an important task in multimedia. With the development of advanced driver assistance systems~(ADAS) and their applications in autonomous vehicles, experimenting with different scenarios becomes a challenge. Although the photo-realistic street scenes can be synthesized by image-to-image translation methods, which cannot produce coherent scenes due to the lack of 3D information. In this paper, a large-scale neural rendering method is proposed to synthesize the autonomous driving scene~(READ), which makes it possible to synthesize large-scale driving scenarios on a PC through a variety of sampling schemes. In order to represent driving scenarios, we propose an ω rendering network to learn neural descriptors from sparse point clouds. Our model can not only synthesize realistic driving scenes but also stitch and edit driving scenes. Experiments show that our model performs well in large-scale driving scenarios.

研究の動機と目的

• 自動運転のシミュレーションに適した、限られた3D入力データからの一貫性があり、大規模で写真同等のリアルなドライブシーンを生成する課題に取り組むこと。
• NeRFベースの手法がスパースで不完全な点群や高コストな大規模な屋外シーンを扱う際の限界を克服すること。
• 高価なマルチGPU環境に依存せず、コンsumerグレードのハードウェア（例：2台のRTX 2070 GPU）でも効率的かつ高品質なニューラルレンダリングを実現すること。
• ADASや自動運転のトレーニングに役立つ実用的応用、例えばシーン編集、ステッチング、パノラマビュー合成を支援すること。
• 現実のドライブシナリオで一般的な低視界域や隠蔽領域におけるアーティファクトを低減し、一般化性能を向上させること。

提案手法

• 基本ゲートモジュールを用いて無効なニューラル記述子をフィルタリングし、スパースな点群入力における特徴の信頼性を向上させる$ω$-ネットアーキテクチャを提案する。
• 異なる受容 field を通じて特徴を統合することで、テクスチャの詳細を強化し、欠損領域を埋めるマルチスケール特徴統合を採用する。
• レンダリング中の計算量とメモリ使用量を削減するため、効率的なモンテカルロサンプリングを用いたパッチベースのサンプリング戦略を導入する。
• 3Dメッシュプロキシにニューラルテクスチャを組み合わせてシーンを初期化することで、個々のシーンに対するNeRF最適化よりも高速な収束とより優れた一般化性能を実現する。
• 空間勾配の近似精度とレンダリングのリアリズムを向上させるために、微分可能なカメラモデルとトーンマッパーを適用する。
• サブシーンごとに別々のレンダリングネットワークを訓練し、共有されたニューラル記述子表現を介して統合することで、シーンステッチングを実現する。

実験結果

リサーチクエスチョン

• RQ1 コンsumerグレードのハードウェア上でスパースな点群から高精度で写真同等のリアルなドライブシーンを合成するニューラルレンダリング手法は、実現可能か？
• RQ2 マルチスケール特徴統合とゲートベースのフィルタリングは、大規模な屋外シーンにおけるレンダリング品質の向上とアーティファクト低減にどの程度効果的か？
• RQ3 提案手法は、自動運転シミュレーションにおけるシーン編集やステッチングをどの程度サポートできるか？
• RQ4 実世界のドライブベンチマークにおいて、PSNR、SSIM、LPIPSの観点から、NeRFベースの手法や画像対画像変換手法と比較して、性能はどの程度か？
• RQ5 L1、PSNR、VGGの異なる損失関数の組み合わせが、合成ビューの知覚的品質と構造的一致性に与える影響は何か？

主な発見

• 提案手法はKITTI RoadデータセットでPSNR 24.19、SSIM 0.7490を達成し、両指標でベースライン手法を上回った。
• 基本ゲートモジュールの追加により、損失が572.1から383.3に低下し、PSNRが向上しLPIPSが低減した。これは、無効な記述子の効果的フィルタリングを示している。
• 同じスケールでの特徴統合（Same）と異なるスケールでの統合（Differ）を組み合わせることで、PSNRは22.29から24.29に、SSIMは0.6883から0.7402に向上し、テクスチャと詳細の回復が強化された。
• L1、PSNR、VGG損失の組み合わせが、最高のSSIM（0.7490）と最小のLPIPS（0.1863）を達成し、知覚的品質の向上を示した。
• READを用いたシーンステッチングにより、SSIMは0.7242から0.7392に、LPIPSは0.1755から0.1625に改善され、ステッチングフレームワークの有効性が確認された。
• 本手法はパノラマビュー合成や動的オブジェクトの除去に成功し、自動運転のデータ拡張における実用的利点を示した。