[論文レビュー] SG-NN: Sparse Generative Neural Networks for Self-Supervised Scene Completion of RGB-D Scans

Angela Dai, Christian Diller+1 more|arXiv (Cornell University)|Nov 29, 2019

3D Shape Modeling and Analysis参考文献 38被引用数 11

ひとこと要約

本論文では、同一の現実世界のスキャンを徐々に不完全なバージョンから学習することで、合成の教師データを一切用いずに、2 cm解像度の高精度な3Dシーン再構築を実現する自己教師型スパース生成ニューラルネットワークSG-NNを提案する。この手法は、訓練に用いたスキャンのいずれよりも完全な幾何構造を予測でき、完全に教師ありの最先端手法を上回る性能を発揮する。

ABSTRACT

We present a novel approach that converts partial and noisy RGB-D scans into high-quality 3D scene reconstructions by inferring unobserved scene geometry. Our approach is fully self-supervised and can hence be trained solely on real-world, incomplete scans. To achieve self-supervision, we remove frames from a given (incomplete) 3D scan in order to make it even more incomplete; self-supervision is then formulated by correlating the two levels of partialness of the same scan while masking out regions that have never been observed. Through generalization across a large training set, we can then predict 3D scene completion without ever seeing any 3D scan of entirely complete geometry. Combined with a new 3D sparse generative neural network architecture, our method is able to predict highly-detailed surfaces in a coarse-to-fine hierarchical fashion, generating 3D scenes at 2cm resolution, more than twice the resolution of existing state-of-the-art methods as well as outperforming them by a significant margin in reconstruction quality.

研究の動機と目的

• オクルージョンやセンサ制限によるRGB-Dスキャンからの不完全な3D再構築の課題に対処すること。
• シーン補完モデルの学習に、合成的かつ完全な3Dデータセットへの依存を排除すること。
• 実世界のスキャン間で一般化できる自己教師型学習フレームワークを構築し、単一の入力スキャンよりも完全な幾何構造を予測すること。
• 新規なスパース生成ネットワークアーキテクチャを用いて、高解像度（2 cm）の3Dシーン生成を実現すること。
• 入力の不完全さの度合いが異なる状況下でも、一般化性と頑健性を向上させること。

提案手法

• 同じスキャンから得られる2つの部分的不完全さの段階（入力：やや不完全、ターゲット：より不完全）を関連付ける自己教師型損失を用いる。未観測領域はマスク処理される。
• 低解像度から高解像度（2 cm）へと段階的に解像度を向上させる階層的・粗いから細かい順のトレーニング戦略を採用する。
• エンドツーエンドで完全に畳み込み型となるように、スパースな切断符号距離関数（TSDF）表現を予測する新規なスパース生成ニューラルネットワークアーキテクチャを導入する。
• Matterport3Dの実世界のRGB-Dスキャンを用いて学習を行い、フレームを削除することで不完全度を段階的に増加させるシミュレーションを行う。
• 損失関数は、入力とターゲットの部分スキャン間の予測された差分の整合性を強制するが、未観測領域はマスクして、未観測の幾何構造からの学習を回避する。
• 入力および出力の両方でTSDF表現を用いることで、点群や占有グリッドに比べて表面幾何構造と近傍構造をより適切に記述できる。

実験結果

リサーチクエスチョン

• RQ1 合成の教師データを一切用いずに、現実世界の不完全なRGB-Dスキャンから自己教師型で3Dシーンを補完できるか？
• RQ2 このような手法が、単一のトレーニングスキャンよりも完全な幾何構造を予測できるか？
• RQ3 段階的な解像度トレーニングを施したスパース生成ネットワークは、従来の手法に比べてより高い再構築品質と解像度を達成できるか？
• RQ4 トレーニング段階で入力スキャンの完全さの度合いが変化しても、この手法はどれほど頑健か？
• RQ5 損失関数で未観測領域をマスクすることで、ランダムクロッピングや直接的教師あり学習と比較して、オクルージョン領域の補完性能が向上するか？

主な発見

• 提案手法は、3Dシーン再構築において2 cmの解像度を達成し、先行研究の2倍以上の高解像度を実現した。
• 合成データを一切使用せず、不完全な実スキャンでのみ学習したにもかかわらず、訓練中に使用したターゲットスキャンのいずれよりも完全な幾何構造を予測でき、特にオクルージョン領域で顕著な性能向上を示した。
• 大規模な合成データセットを活用する完全に教師ありの最先端手法ですら、本手法の再構築品質を上回った。
• ターゲットスキャンの完全さが変動する状況下でも、モデルは頑健に動作し、訓練に使用するフレームがたった30％でも高い性能を維持した。
• 損失関数で未観測領域をマスクすることで、オクルージョン領域の補完性能が著しく向上した。一方、ランダムクロッピングベースラインは、このような領域で失敗した。
• 入力および出力の両方でTSDF表現を用いることで、点群や占有グリッド表現よりも優れた性能が得られた。これは、幾何記述能力の向上によるものである。