[論文レビュー] Semantic Scene Completion Combining Colour and Depth: preliminary experiments

Andre Bernardes Soares Guedes, Teófilo de Campos+1 more|arXiv (Cornell University)|Feb 13, 2018

Advanced Vision and Imaging参考文献 11被引用数 20

ひとこと要約

本稿では、RGBと深度データを、SSCNetアーキテクチャに早期およびミッドレベルの融合戦略を用いて統合することで、意味的シーンコンプリート（SSC）を向上させることを提案する。色情報の組み込みにもかかわらず、NYU Depth v2データセットにおける実験では、元の深度情報のみのSSCNetよりも性能向上が見られず、コンプリートのピーク性能は56.6% IoU、セマンティックラベリングでは30.5%にとどまり、現在の融合手法がこの設定においてRGBを効果的に活用できていないことを示唆している。

ABSTRACT

Semantic scene completion is the task of producing a complete 3D voxel representation of volumetric occupancy with semantic labels for a scene from a single-view observation. We built upon the recent work of Song et al. (CVPR 2017), who proposed SSCnet, a method that performs scene completion and semantic labelling in a single end-to-end 3D convolutional network. SSCnet uses only depth maps as input, even though depth maps are usually obtained from devices that also capture colour information, such as RGBD sensors and stereo cameras. In this work, we investigate the potential of the RGB colour channels to improve SSCnet.

研究の動機と目的

• RGBカラー情報を組み込むことで、深度情報のみの手法を上回る3次元セマンティックシーンコンプリートが可能かどうかを調査すること。
• 3次元CNNアーキテクチャにおいて、RGBと深度特徴を統合するための早期およびミッドレベルの融合戦略を評価すること。
• 12種類のオブジェクトカテゴリを含むNYU Depth v2データセットにおいて、色情報がシーンコンプリートおよびセマンティックラベリング性能を向上させるかどうかを評価すること。
• 性能向上が見られない原因が、最適でない融合技術、データセットの特性、または深度ジオメトリの内在的な冗長性にあるかどうかを特定すること。

提案手法

• fTSDFで符号化された深度と正規化されたRGBボクセル表現を入力として受けるように変更したSSCNetアーキテクチャを提案した。
• RGB値を-1に設定することで、遮蔽または空の領域を保持しながら、深度ジオメトリと空間的に整合する3次元ボクセルグリッドにエンコードした。
• 2つの融合戦略を実装した：早期融合（入力層でRGBと深度を連結）とミッドレベル融合（初期畳み込み層の後に特徴量を連結）。
• ランダム初期化、特徴量学習（元のSSCNet重みを凍結）、ファインチューニング（学習率を低くしてすべての重みを学習）、およびサーチャル（入力層重みを部分的に初期化）の4つの最適化戦略を用いてモデルを訓練した。
• ボクセル単位のセマンティックラベリングにソフトマックス出力と交差エントロピー損失関数を用い、全テストボクセルおよびクラスにおける交差率（IoU）を性能評価指標とした。
• 地面真理ラベリングにbinvoxボクセライゼーションを適用し、12種類のセマンティックカテゴリを含むNYU Depth v2データセットを用いた。

実験結果

リサーチクエスチョン

• RQ1 SSCNetにおけるRGBカラー情報の追加が、深度情報のみの入力と比較してセマンティックシーンコンプリート性能を向上させるか？
• RQ2 RGBと深度特徴を統合するための早期およびミッドレベルの融合戦略は、3次元シーンコンプリートにおいてどのように比較されるか？
• RQ3 提案されたRGB強化モデルが、なぜNYU Depth v2データセットにおいて元の深度情報のみのSSCNetを上回らないのか？
• RQ4 制約なしのファインチューニングまたは制約付きの特徴量学習戦略は、RGB-深度融合モデルの一般化性能を向上させ、過学習を防げるか？
• RQ5 性能向上が見られないのは、データセットのラベルセット、シーンの複雑さ、または深度ジオメトリの内在的冗長性に起因しているのか？

主な発見

• 提案されたRGB強化モデルは、NYU Depth v2データセットにおいて、元の深度情報のみのSSCNetの性能を上回ることはできなかった。
• 得られた最高の成績は、コンプリートで56.6% IoU、セマンティックラベリングで30.5%であり、元のSSCNetと同一の性能であった。
• カラー情報のみのネットワークでは、イテレーションが進むにつれて訓練損失が単調に増加したが、競争力のある性能に収束しなかった。
• 制約なしのファインチューニングは制約付き手法よりも損失関数の低下が速かったが、過学習を引き起こし、1000イテレーションを過ぎてテストIoUが低下した。
• 特徴量学習、ファインチューニング、サーチャルの各訓練戦略間に顕著な性能差は認められず、重みの適応による利点が限定的であることが示唆された。
• 結果から、fTSDFで符号化された深度情報はもともと非常に識別性が高く、現在の融合手法ではこの文脈においてRGB情報を効果的に活用できていない可能性が示唆された。