[論文レビュー] Attention-based Multi-modal Fusion Network for Semantic Scene Completion

Siqi Li, Changqing Zou+3 more|arXiv (Cornell University)|Mar 31, 2020

Advanced Vision and Imaging参考文献 27被引用数 4

ひとこと要約

本論文では、2次元セマンティックセグメンテーション特徴と深度情報の間でマルチモodalアテンション機構を用いて統合することで、3次元セマンティックシーンコンプリートを向上させるエンドツーエンドの3次元畳み込みネットワークAMFNetを提案する。2次元セグメンテーションのガイダンスとリプルスアテンションブロックを活用することで、従来手法と比較してSUNCG-RGBDでmIoUが2.5%向上、NYUv2で2.6%向上する最先端の性能を達成した。

ABSTRACT

This paper presents an end-to-end 3D convolutional network named attention-based multi-modal fusion network (AMFNet) for the semantic scene completion (SSC) task of inferring the occupancy and semantic labels of a volumetric 3D scene from single-view RGB-D images. Compared with previous methods which use only the semantic features extracted from RGB-D images, the proposed AMFNet learns to perform effective 3D scene completion and semantic segmentation simultaneously via leveraging the experience of inferring 2D semantic segmentation from RGB-D images as well as the reliable depth cues in spatial dimension. It is achieved by employing a multi-modal fusion architecture boosted from 2D semantic segmentation and a 3D semantic completion network empowered by residual attention blocks. We validate our method on both the synthetic SUNCG-RGBD dataset and the real NYUv2 dataset and the results show that our method respectively achieves the gains of 2.5% and 2.6% on the synthetic SUNCG-RGBD dataset and the real NYUv2 dataset against the state-of-the-art method.

研究の動機と目的

• 2次元セマンティックセグメンテーションを監視信号として統合することで、3次元セマンティックシーンコンプリート（SSC）の性能を向上させること。
• アテンション機構を通じて信頼性の高い深度情報に焦点を当てることで、3次元シーンのスパarsityを解消すること。
• 3次元シーンコンプリートとセマンティックラベリングを同時に最適化するマルチモーダル統合フレームワークを開発すること。
• 2次元セグメンテーションの経験が、特に物体の境界や小形物体に対して、3次元コンプリートを効果的にガイドできることを示すこと。

提案手法

• 2本の3次元ボリュームネットワークを設計し、一方のブランチでは2次元セマンティックセグメンテーション予測を用いて3次元特徴学習をガイドする。
• 2次元から3次元へのプロジェクションを適用し、2次元セマンティックラベルを初期の3次元セマンティック特徴ボリュームに変換する。
• 意味のあるボクセルを動的に強調し、空の領域からのノイズを抑圧するため、リプルスアテンションブロック（RAB）を導入する。
• RGB、深度、HHA特徴を統合するマルチモーダル統合アーキテクチャを採用し、3次元表現を向上させる。
• 3次元ガイダンスブランチは、2次元セグメンテーション結果を空間的制約として統合し、物体境界の予測精度を向上させる。
• 3次元シーンコンプリートとセマンティックラベリングの両方を同時に最適化するため、クロスエントロピー損失と平均交差率（mIoU）損失を用いてエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 2次元セマンティックセグメンテーションの結果は、3次元セマンティックシーンコンプリートの性能向上に寄与するか？
• RQ2 アテンションベースの特徴精錬は、スパースな3次元ボクセルデータの処理においてどの程度有効か？
• RQ3 2次元セグメンテーションの経験を活用することで、RGB-D入力のみを用いる場合と比較して、より優れた3次元コンプリートとラベリングが達成できるか？
• RQ4 リプルスアテンションブロックは、特に小形または隠蔽された物体に対して、3次元コンプリートネットワークの特徴学習を向上させられるか？
• RQ5 3次元ガイダンスブランチは、物体境界の正確性向上にどの程度寄与しているか？

主な発見

• AMFNetは、最先端手法と比較して、合成データセットSUNCG-RGBDでmIoUが2.5%向上した。
• 実データセットNYUv2では、現在の最先端手法と比較してmIoUが2.6%向上した。
• 3次元ガイダンスブランチに真値の2次元セグメンテーションラベルを入力した場合、SUNCG-RGBDで性能が3.8%向上、NYUv2で4.3%向上した。
• リプルスアテンションブロック（RAB）を導入した場合、アテンションなしのベースラインと比較して、SUNCG-RGBDでmIoUが3.0%向上、NYUv2で2.9%向上した。
• アブレーションスタディの結果、3次元ガイダンスブランチが境界精度を顕著に向上させ、ベッドや壁のような複雑な物体において顕著な効果を示した。
• RABを備えたモデルは、キャビネット上の紙の山のような小形物体をよりよく再構築でき、アテンションなしではしばしば見過ごされる物体も効果的に捉えることができた。