[論文レビュー] Panoptic NeRF: 3D-to-2D Label Transfer for Panoptic Urban Scene Segmentation

Xiao Fu, Shangzhan Zhang+6 more|arXiv (Cornell University)|Mar 29, 2022

Remote Sensing and LiDAR Applications被引用数 4

ひとこと要約

Panoptic NeRF は、粗い 3D バウンディングプリミティブとノイジーな 2D 画像分類予測を用いて、NeRF を活用して幾何と意味を同時に最適化する 3D から 2D へのラベル転送手法を提案する。この手法により、高品質でマルチビューに一貫性のあるパンオプティックセグメンテーションラベルが生成され、KITTI-360 で最先端の性能を達成。3D と 2D の監視信号を二重意味フィールドと意味的ガイド付き幾何最適化で統合することで、精度と一貫性が向上する。

ABSTRACT

Large-scale training data with high-quality annotations is critical for training semantic and instance segmentation models. Unfortunately, pixel-wise annotation is labor-intensive and costly, raising the demand for more efficient labeling strategies. In this work, we present a novel 3D-to-2D label transfer method, Panoptic NeRF, which aims for obtaining per-pixel 2D semantic and instance labels from easy-to-obtain coarse 3D bounding primitives. Our method utilizes NeRF as a differentiable tool to unify coarse 3D annotations and 2D semantic cues transferred from existing datasets. We demonstrate that this combination allows for improved geometry guided by semantic information, enabling rendering of accurate semantic maps across multiple views. Furthermore, this fusion process resolves label ambiguity of the coarse 3D annotations and filters noise in the 2D predictions. By inferring in 3D space and rendering to 2D labels, our 2D semantic and instance labels are multi-view consistent by design. Experimental results show that Panoptic NeRF outperforms existing label transfer methods in terms of accuracy and multi-view consistency on challenging urban scenes of the KITTI-360 dataset.

研究の動機と目的

• 都市シーンにおけるピxls単位の意味的・インスタンスセグメンテーションラベルのラベル付けにかかる高コストと人的労力の問題を解決すること。
• ノイジーな 2D 予測による弱い監視信号を活用し、粗い 3D バウンディングプリミティブから高密度な 2D パノプティックラベルへのラベル転送精度を向上させること。
• 3D 空間での推論により、生成された 2D ラベルのマルチビューおよび空間的・時間的整合性を保証すること。
• 重複する 3D バウンディングプリミティブ領域におけるラベルの曖昧さを解消し、2D 予測のノイズを低減するために、幾何と意味を共同で最適化すること。
• 微分可能レンダリングと意味的ガイドを活用して、人為的後処理を一切行わず、エンドツーエンドで完全に自動化されたラベル転送を可能にすること。

提案手法

• 本手法は、二重意味フィールド（3D バウンディングプリミティブからの固定フィールドと 2D 予測からの学習フィールド）を備えた NeRF ベースのレイトランスフィールドを用いる。
• 意味的ガイド付き幾何最適化を実行する。意味フィールドを固定し、2D 画像分類の手がかりを用いて幾何を精緻化する。
• 3D プリミティブのラベルと 2D のノイジーな予測を、学習された意味フィールドを介して統合し、ラベルの曖昧さを解消するための幾何と意味の共同最適化ステップを実施する。
• レイマスクを用いてサンプリングを改善することで、3D 監視信号（$\mathcal{L}^{\text{3D}}_{\mathbf{s}}$）、2D 監視信号（$\mathcal{L}^{\text{2D}}_{\mathbf{S}}$）、光度損失（$\mathcal{L}_p$）の組み合わせを用いてモデルを訓練する。
• ボリュームレンダリングを用いて、3D で学習された意味フィールドを 2D 画像に投影し、複数の視点にわたって一貫性のあるパンオプティックラベルを生成する。
• 疎な入力ビュー下でも幾何再構築を向上させる、新しいサンプリング戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 3D 空間で幾何と意味を同時に最適化することで、2D での最適化に比べて 3D から 2D へのラベル転送が向上するか？
• RQ2 疎な視点しか利用できない状況下でも、意味的ガイド付き幾何最適化が再構築品質を向上させるか？
• RQ3 粗い 3D バウンディングプリミティブとノイジーな 2D 予測の統合によって、ラベルの曖昧さが解消され、2D 予測のノイズが低減されるか？
• RQ4 3D 空間での推論により、自然にマルチビューに一貫性のある 2D パノプティックラベルが得られるか？
• RQ5 提案手法は、既存の 2D から 2D および 3D から 2D のラベル転送ベースラインと比較して、精度と一貫性において優れているか？

主な発見

• Panoptic NeRF は KITTI-360 データセットで mIoU 81.4、精度 94.5 を達成し、既存の 3D から 2D および 2D から 2D のラベル転送手法を上回る性能を示した。
• アブレーションスタディの結果、2D 監視信号損失（$\mathcal{L}^{\text{2D}}_{\mathbf{S}}$）を除去すると mIoU が 70.7 に低下し、学習された意味フィールドの精緻化においてその重要性が示された。
• 固定された意味フィールド（$s_{\beta}$）は幾何再構築を顕著に向上させ、これを除去すると深度誤差が増加し、オブジェクト境界がぼやける。
• すべてのモジュールを備えた完全なモデルは、最小の光度損失（5.23）と最大の mIoU（81.4）を達成し、最適化パイプライン全体の有効性を確認した。
• Deeplab や PSPNet といった事前学習済み 2D モデルを仮の真値（pseudo GT）として用いても、Panoptic NeRF はそれらを上回り、それぞれ mIoU 79.3 と 75.9 を達成した。これは、ノイジーな 2D 入力に対してもロバストであることを示している。
• 本手法は、3D バウンディングプリミティブを用いて、複数の視点にわたるグローバルに一貫性のあるインスタンスラベリングを実現。各オブジェクトに一意のインスタンス ID が割り当てられる。