[論文レビュー] Multiview Based 3D Scene Understanding On Partial Point Sets

Ye Zhu, Sven Ewan Shepstone+4 more|arXiv (Cornell University)|Nov 30, 2018

Advanced Vision and Imaging参考文献 17被引用数 4

ひとこと要約

本稿では、完全および不完全な点群の両方における3次元シーン理解のための深層学習モデルを向上させる3次元マルチビュー表現を提案する。360°スキャンから得られるマルチビューに基づく不完全点群セットを訓練データに追加することで、不完全な点群においては分類精度を31.9%向上させ、完全な点群においても4.3%向上させるとともに、3次元パーツ分類にも一般化可能である。

ABSTRACT

Deep learning within the context of point clouds has gained much research interest in recent years mostly due to the promising results that have been achieved on a number of challenging benchmarks, such as 3D shape recognition and scene semantic segmentation. In many realistic settings however, snapshots of the environment are often taken from a single view, which only contains a partial set of the scene due to the field of view restriction of commodity cameras. 3D scene semantic understanding on partial point clouds is considered as a challenging task. In this work, we propose a processing approach for 3D point cloud data based on a multiview representation of the existing 360° point clouds. By fusing the original 360° point clouds and their corresponding 3D multiview representations as input data, a neural network is able to recognize partial point sets while improving the general performance on complete point sets, resulting in an overall increase of 31.9% and 4.3% in segmentation accuracy for partial and complete scene semantic understanding, respectively. This method can also be applied in a wider 3D recognition context such as 3D part segmentation.

研究の動機と目的

• カメラの視野制限により現実世界の応用で一般的な不完全な点群における3次元シーンの意味的理解の課題に対処すること。
• 完全な360°点群のみで訓練された従来の深層学習モデルが、不完全で現実世界のスキャンに一般化しにくいという制限を克服すること。
• データ増強に依存せず、部分観測に対してモデルのロバスト性を向上させるデータ表現戦略を開発すること。
• マルチビューに基づく不完全点群セットが、シーンセグメンテーションを越えて3次元認識タスクの一般用途の前処理手法として有効であることを示すこと。

提案手法

• 複数の視点から360°点群を投影することで、視野制限のある実際のカメラスナップショットを模倣したマルチビューに基づく不完全点群セットを生成する。
• 2次元画像に変換するのではなく、元の点群の3次元幾何的構造を維持することで、深層学習に適した空間的関係を保持する。
• 元の360°点群とそのマルチビュー由来の不完全セットを組み合わせたデータセットを用いて深層ニューラルネットワークを訓練し、一般化性能を向上させる。
• 理論的枠組みを用いて、完全なシーンの重要点集合が部分的視点から再構築可能であれば、完全データをマルチビュー集合に置き換えても性能に損失がないことを示す。
• シーン意味セグメンテーションおよび3次元パーツセグメンテーションの両タスクに本手法を適用し、タスク間での一般化性を検証する。
• 完全および不完全な点群認識性能の両立を最適化するため、マルチビュー不完全点群セットの数を最適化し、性能のトレードオフを特定する。

実験結果

リサーチクエスチョン

• RQ1 360°点群で訓練された深層ニューラルネットワークは、視野が制限された実際のカメラで撮影された不完全な点群セットに対しても効果的に一般化できるか？
• RQ2 マルチビューに基づく不完全点群セットを組み込むことで、完全および不完全なデータの両方における3次元意味セグメンテーション性能がどの程度向上するか？
• RQ3 訓練サンプル数を増やさない状況でも、提案されたマルチビュー表現が有効であることは、単なるデータ増強のテクニックではない証明となるか？
• RQ4 マルチビュー表現は、シーンレベルの意味セグメンテーションを越えて、3次元パーツセグメンテーションのような細分化タスクに対しても一般化可能か？
• RQ5 マルチビュー不完全点群セットの数と、モデルが完全および不完全な点群を認識する能力との間にどのようなトレードオフが存在するか？

主な発見

• 提案手法は、ベースラインと比較して、不完全な点群における意味セグメンテーションのmIoUを31.9%向上させた。
• 同様に、完全な360°点群においてもmIoUを4.3%向上させ、不完全および完全データの両方に対して二重の利点を示した。
• 元の360°点群を完全に訓練データから削除し、1シーンあたり300個のマルチビュー不完全点群セットに置き換えても、完全なデータに対する性能は同等に維持された。
• 本手法は3次元パーツセグメンテーションに対しても効果的に一般化され、ShapeNetパーツデータセットの16のオブジェクトカテゴリのうち15のカテゴリで一貫したmIoU向上を達成した。
• 性能のトレードオフが観察された：マルチビュー不完全点群セットの数を増やすと、初期段階では完全および不完全データの両方の認識性能が向上するが、ある閾値を超えると完全データの性能が低下し始めた。
• 理論的分析により、完全なシーンの重要点集合が部分的視点から再構築可能であれば、完全データをマルチビュー集合に置き換えても性能に損失がないことが確認された。