[論文レビュー] Neural Point Cloud Rendering via Multi-Plane Projection

Peng Dai, Yinda Zhang+3 more|arXiv (Cornell University)|Dec 10, 2019

Advanced Vision and Imaging参考文献 5被引用数 8

ひとこと要約

本稿では、3次元点群特徴をカメラの視界体積に段階的な形式で投影することで、可視性推定の向上とノイズおよび疎らさに起因するアーティファクトの低減を図るニューラル点群レンダリング手法を提案する。特徴体積に3次元畳み込みニューラルネットワーク（3D CNN）を適用し、複数の平面出力を学習された重みでブレンドすることで、画像品質と時間的安定性が向上し、特に物体境界付近や疎らか・ノイズの多い点群において優れた性能を発揮する。

ABSTRACT

We present a new deep point cloud rendering pipeline through multi-plane projections. The input to the network is the raw point cloud of a scene and the output are image or image sequences from a novel view or along a novel camera trajectory. Unlike previous approaches that directly project features from 3D points onto 2D image domain, we propose to project these features into a layered volume of camera frustum. In this way, the visibility of 3D points can be automatically learnt by the network, such that ghosting effects due to false visibility check as well as occlusions caused by noise interferences are both avoided successfully. Next, the 3D feature volume is fed into a 3D CNN to produce multiple layers of images w.r.t. the space division in the depth directions. The layered images are then blended based on learned weights to produce the final rendering results. Experiments show that our network produces more stable renderings compared to previous methods, especially near the object boundaries. Moreover, our pipeline is robust to noisy and relatively sparse point cloud for a variety of challenging scenes.

研究の動機と目的

• ノイズの多い深度情報や不正確な可視性チェックによって引き起こされるゴースト化やジタリングアーティファクトを解消すること。
• 特にカメラの軌道に沿った動画レンダリングにおける時間的整合性を向上させること。
• 高密度なカバレッジや複雑な幾何構築を必要とせず、比較的疎らかでノイズの多い点群からもロバストなレンダリングを可能にすること。
• 2次元画像平面への直接投影ではなく、3次元特徴を段階的な3次元体積に投影することで、正確な可視性と特徴表現を維持すること。

提案手法

• 本手法は、3次元点群特徴をカメラの視界体内部の段階的体積に投影し、深度層に跨る可視性情報を保持する。
• 段階的な特徴体積を3次元畳み込みニューラルネットワーク（3D CNN）が処理し、複数の深度順序付き画像平面を生成する。
• 複数の平面出力を学習された重みを用いてブレンドすることで、異なる深度からの特徴の適応的統合を実現し、最終レンダリング画像を生成する。
• 可視性は学習中に暗黙的に学習されるため、深度ノイズに敏感な明示的なzバッファチェックに依存せず、安定性が向上する。
• 直接的な2次元投影を回避することで、点群のノイズへの感受性が低減し、疎らな入力に対してもロバスト性が向上する。
• ネットワークは、フォトリッチなレンダリングと画像系列における時間的整合性を最適化するため、エンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 ノイズが多く、疎らな3次元点群からも安定的かつ高品質な新規ビュー合成を実現できるニューラルレンダリングパイプラインは構築可能か？
• RQ2 点群レンダリングにおける可視性推定をどのように改善すれば、ゴースト化やジタリングアーティファクトを低減できるか？
• RQ3 カメラの視界体内部に段階的な3次元体積に特徴を投影するアプローチは、2次元投影ベースの手法に比べて、より優れた時間的整合性を達成できるか？
• RQ4 点群の密度が低下するに従って、この手法がレンダリング品質をどの程度維持できるか？

主な発見

• 提案手法は動画レンダリングにおいて顕著に優れた時間的整合性を達成し、ユーザースタディーでは80件中61件の選好がNPG、Pix2Pix、直接レンダリングの結果よりも本手法の出力に傾いている。
• 重度に遮蔽されたりノイズの多い点群でも物体の整合性を保ち、ベースライン手法が見逃えたり破損させたりする物体を効果的に回復する。
• 定量的評価では、点群密度が低下するに従ってPSNRおよびSSIM指標の劣化が遅く、疎らかさに対する優れたロバスト性を示している。
• 物体境界付近では、従来手法がしばしばぼやけたりゴースト化を示すのに対し、本手法はより安定したレンダリングを生成する。
• 比較的疎らな点群に対しても有効であるため、限られたデータしか得られない実世界のシナリオにおいても実用的であることが示された。