[論文レビュー] Efficient Semantic Scene Completion Network with Spatial Group Convolution

Jiahui Zhang, Hao Zhao+4 more|arXiv (Cornell University)|Jul 11, 2019

3D Shape Modeling and Analysis参考文献 50被引用数 6

ひとこと要約

本稿では、空間的グループ化を用いた新規手法であるSpatial Group Convolution (SGC) を提案する。SGCは3次元特徴マップを空間的グループに分割することで、スパース畳み込みを効率化し、計算量を大幅に削減しつつ、精度の低下を最小限に抑える。本手法は、マルチスケールで粗くから細かく予測を行うスパース畳み込みニューラルネットワークアーキテクチャを採用し、エンドツーエンド学習により完全な3次元シーン再構築を実現。SUNCGデータセットにおいて、3倍高速な推論を達成し、IoU損失はたった0.7%にとどまり、セマンティックシーンコンプリートタスクで最先端の性能を達成した。

ABSTRACT

We introduce Spatial Group Convolution (SGC) for accelerating the computation of 3D dense prediction tasks. SGC is orthogonal to group convolution, which works on spatial dimensions rather than feature channel dimension. It divides input voxels into different groups, then conducts 3D sparse convolution on these separated groups. As only valid voxels are considered when performing convolution, computation can be significantly reduced with a slight loss of accuracy. The proposed operations are validated on semantic scene completion task, which aims to predict a complete 3D volume with semantic labels from a single depth image. With SGC, we further present an efficient 3D sparse convolutional network, which harnesses a multiscale architecture and a coarse-to-fine prediction strategy. Evaluations are conducted on the SUNCG dataset, achieving state-of-the-art performance and fast speed. Code is available at https://github.com/zjhthu/SGC-Release.git

研究の動機と目的

• 3次元密度予測ネットワークの高い計算コスト、特に立方体メモリとFLOPの増加に起因するスパース3次元データ処理の課題を解決すること。
• 3次元ボクセルデータに内在するスパarsityと冗長性を活用し、より効率的なニューラルネットワークアーキテクチャを設計すること。
• セマンティック精度を損なわず、3次元スパース畳み込みを高速化する手法を開発し、特にシーンコンプリートタスクに応用すること。
• 単一の深度画像から、完全な3次元シーンの幾何学的構造とセマンティック情報をエンドツーエンドで学習可能にする仕組みを実現すること。

提案手法

• 入力ボクセルを空間的グループに分割し、各グループに対して独立にスパース3次元畳み込みを適用することで計算量を削減するSpatial Group Convolution (SGC) を提案する。
• ハッシュテーブルを活用したスパース3次元畳み込みネットワーク（SCN）フレームワークを用い、空のボクセルの処理を回避することで、スパース3次元データを効率的に処理する。
• 粗くから細かく予測を行うマルチスケールのエンコーダ・デコーダアーキテクチャを導入し、再構築品質の向上と欠落構造の処理を実現する。
• 欠落したボクセルを生成するためのドレインデコンボリューション層と、不要なボクセルを除去するためのアブストラクティングモジュールを設計する。
• SGCにおいて固定パターンのパーティショニング戦略を採用し、不規則でパターンに依存しない畳み込みフィルタを学習させ、一貫したスパarsityパターンに適応可能にする。
• SGCの後に特徴収集処理を実施することで、グループ間の情報フローを回復させ、空間的に離れた特徴グループ間での通信を可能にする。

実験結果

リサーチクエスチョン

• RQ1 3次元特徴をグループに空間的分割することで、3次元CNNにおける計算量を削減しつつ、セマンティック精度を維持できるか？
• RQ2 SGCは、3次元密度予測タスクにおいて、標準的なグループ化畳み込みと比較して、効率性と性能で優れているか？
• RQ3 SGCはスパース畳み込みネットワークと効果的に組み合わせられ、セマンティックシーンコンプリートの高速化に寄与するか？
• RQ4 SGCにおいて固定パターンのパーティショニングをランダムパーティショニングよりも採用することで、モデルの汎化性能と性能が向上するか？
• RQ5 SGCは、不完全な3次元シーンにおける構造的・セマンティック的情報をどの程度保持できるか？

主な発見

• SGCは、ベースラインのスパースネットワークと比較して計算量を約75%（3/4）削減し、SUNCGデータセットにおけるセマンティックシーンコンプリートのIoUはわずか0.7%の低下にとどまった。
• 提案されたネットワークは、セマンティックシーンコンプリートで26.7%の最先端IoUを達成し、NYUデータセットでは56.2%のIoUを記録。SSCNetをそれぞれ2.0%および1.1%上回った。
• 固定パターンによるSGCパーティショニングは、ランダムパーティショニングと比較して同等または優れた結果を示し、SUNCGおよびNYUの両ベンチマークで一貫した改善が得られた。
• 可視化結果から、SGCフィルタのヒストограмが標準的なSCNフィルタよりも鋭くなったことが確認され、グループ間でスパarsityパターンに対する不変性が学習されていることが示された。
• 固定パターンSGCの下で、不規則でX字型の畳み込みカーネルが学習されたことが確認され、特徴処理中に一貫したスパarsityパターンに適合していた。
• NYUデータにアノテーションノイズやアライメントのずれが存在するにもかかわらず、SGCは強固な性能を維持しており、現実世界のデータの不完全さに対しても耐性があることが示された。