[論文レビュー] ForkNet: Multi-branch Volumetric Semantic Completion from a Single Depth Image

Yida Wang, David Joseph Tan+2 more|arXiv (Cornell University)|Sep 3, 2019

Advanced Vision and Imaging参考文献 26被引用数 8

ひとこと要約

ForkNetは、1枚の深度画像からの3次元セマンティック補完のためのマルチブランチ生成モデルを提案する。共有潜在空間を用い、1つのエンコーダと、幾何、セマンティック、部分的表面再構成の3つの専用生成器を備える。実際の合成学習データの生成と、ブランチ間の特徴接続、複数の識別器の使用により性能が向上し、合成データ（SUNCG）および実世界データ（NYU）の両ベンチマークで最先端の結果を達成した。ShapeNetでは平均IoUが84.1%、実世界の3次元オブジェクト補完では23.8%を達成した。

ABSTRACT

We propose a novel model for 3D semantic completion from a single depth image, based on a single encoder and three separate generators used to reconstruct different geometric and semantic representations of the original and completed scene, all sharing the same latent space. To transfer information between the geometric and semantic branches of the network, we introduce paths between them concatenating features at corresponding network layers. Motivated by the limited amount of training samples from real scenes, an interesting attribute of our architecture is the capacity to supplement the existing dataset by generating a new training dataset with high quality, realistic scenes that even includes occlusion and real noise. We build the new dataset by sampling the features directly from latent space which generates a pair of partial volumetric surface and completed volumetric semantic surface. Moreover, we utilize multiple discriminators to increase the accuracy and realism of the reconstructions. We demonstrate the benefits of our approach on standard benchmarks for the two most common completion tasks: semantic 3D scene completion and 3D object completion.

研究の動機と目的

• 1枚の深度画像からの3次元セマンティック補完のためのペaired学習データの不足に対処する。
• SUNCGのような既存のベンチマークにおける不正確またはノイジーなセマンティックアノテーションを克服する。
• 特に強い遮蔽下でも一般化性能と現実性を向上させる。
• 細かな幾何的詳細と正確なセマンティックラベルを備えた完全なボリュームメトリックシーンの高品質な生成を可能にする。
• より高い耐障害性を実現するため、教師ありと教師なし学習を統合した統一フレームワークを開発する。

提案手法

• 1つのエンコーダが、符号付き距離関数（SDF）表現を用いて入力深度画像を共有潜在空間に圧縮する。
• 3つの並列生成器が潜在コードを以下にデコードする：(i) 部分的ボリュームメトリック表面、(ii) 完全化された幾何的ボリューム、(iii) 完全化されたセマンティックボリューム。
• 幾何とセマンティックブランチ間の対応する層からの特徴を結合するクロスブランチスキップ接続により、幾何的文脈を活用してセマンティックの正確性を向上させる。
• 合成学習データは潜在空間からのサンプリングによって生成され、現実的な遮蔽とノイズを伴うペアドの部分的・完全化シーンが得られる。
• 複数の識別器を用いて生成出力を精緻化し、現実性と細かい幾何的詳細を向上させる。
• 教師あり再構成損失と教師なし一貫性損失を組み合わせることで、正確性と一般化性能のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 共有潜在空間とマルチブランチ生成器を用いることで、1枚の深度画像からの3次元セマンティック補完が向上するか？
• RQ2 潜在空間から生成された合成データは、実世界の学習データを3次元補完に効果的に補完できるか？
• RQ3 幾何とセマンティクスの間のブランチ間特徴統合は、セマンティックラベリングの正確性を向上させるか？
• RQ4 複数の識別器は、完成した3次元シーンの現実性と幾何的忠実性を顕著に向上させられるか？
• RQ5 本手法は、挑戦的な遮蔽とノイジーなアノテーションを有する実世界データセットでどのように性能を発揮するか？

主な発見

• ShapeNetベンチマークでは、ForkNetが84.1%の平均IoUを達成し、前回の最先端手法を6.5%上回った。
• 実世界の3D-RecGANテストセットでは、ForkNetが23.8%のIoUを達成し、3D-RecGANより7.3%、Hanら[13]より9.8%向上した。
• 教師なし一貫性損失が性能向上に最も寄与し、SUNCGデータセットではIoUを5.2%向上させた。
• アブレーションスタディでは、シーン一貫性損失を削除すると平均IoUが80.4%に低下し、構造的整合性を維持する上でその重要性が確認された。
• モデルは潜在空間から高品質で現実的な学習サンプルを生成でき、データ不足の解消と一般化性能の向上に効果的であった。
• 成功を収めたものの、椅子の脚のような細いまたは小さな構造物の処理に苦慮しており、今後の構造的保存の改善が求められる。