[論文レビュー] 3D-to-2D Distillation for Indoor Scene Parsing

Zhengzhe Liu, Xiaojuan Qi+1 more|arXiv (Cornell University)|Apr 6, 2021

Advanced Vision and Imaging参考文献 73被引用数 5

ひとこと要約

本稿では、推論時に3Dデータを必要とせず、大規模な3Dデータセット（例：ScanNet-v2）からの3D特徴を2D畳み込みニューラルネットワーク（CNN）に転送する3Dから2Dへの distillation フレームワークを提案する。2段階の次元正規化と意味的注意型 adversarial loss を用いることで、オクルージョンおよび視点不変特徴を学習可能となり、SOTAの性能と向上した一般化性能を達成。未学習ドメインにおいてmIoUが19.08%から27.22%まで向上した。

ABSTRACT

Indoor scene semantic parsing from RGB images is very challenging due to occlusions, object distortion, and viewpoint variations. Going beyond prior works that leverage geometry information, typically paired depth maps, we present a new approach, a 3D-to-2D distillation framework, that enables us to leverage 3D features extracted from large-scale 3D data repository (e.g., ScanNet-v2) to enhance 2D features extracted from RGB images. Our work has three novel contributions. First, we distill 3D knowledge from a pretrained 3D network to supervise a 2D network to learn simulated 3D features from 2D features during the training, so the 2D network can infer without requiring 3D data. Second, we design a two-stage dimension normalization scheme to calibrate the 2D and 3D features for better integration. Third, we design a semantic-aware adversarial training model to extend our framework for training with unpaired 3D data. Extensive experiments on various datasets, ScanNet-V2, S3DIS, and NYU-v2, demonstrate the superiority of our approach. Also, experimental results show that our 3D-to-2D distillation improves the model generalization.

研究の動機と目的

• 深度支援型2Dセマンティック解析の限界、すなわちペアドRGB-深度データを必要とし、深度予測誤差に敏感であるという問題に対処する。
• 大規模な3Dポイントクラウドから知識を distillation することで、2D画像から3Dに似た特徴を2D CNNが学習できるようにする。
• ペアドおよびペアドでない2D-3Dデータの両方に対応するフレームワークを設計し、柔軟性と適用可能性を向上させる。
• 3D表現を2D特徴に組み込むことで、未学習のデータセットでテストされた場合のモデルの一般化性能を向上させる。

提案手法

• 2段階の次元正規化（DN）モジュールにより、2Dおよび3D特徴の統計的分布を一致させ、モダリティギャップを低減する。
• 事前学習済み3Dネットワークからの3D特徴を、訓練中にL2損失を介して2D CNNに distillation することで、2Dネットワークが3D特徴を模倣できるようにする。
• 意味的注意型 adversarial loss（SAAL）を導入し、カテゴリごとに2Dおよび3D特徴表現を区別することで、ペアドでない2D-3Dデータを用いたフレームワークの訓練を可能にする。
• 3Dから2Dへの distillation フレームワークは、推論時に2D画像のみを必要とし、デプロイ時に3D入力を不要にする。
• 本手法は、ScanNet-v2、S3DIS、NYU-v2で評価され、ベースラインアーキテクチャとしてPSPNet-50が使用された。
• SAALにおけるディスクライマーは、カテゴリごとに6層の全結合層を用い、1クラスあたり0.009Mパラメータを有する。

実験結果

リサーチクエスチョン

• RQ1 推論時に3Dデータを必要とせず、大規模な3Dデータセットからの3D特徴を2D CNNに効果的に転送できるか？
• RQ2 2Dおよび3D特徴間の分布ギャップを最小化することで、効果的な distillation を実現できるか？
• RQ3 3Dデータで学習したフレームワークが、ペアドデータなしで2D画像でテストされた場合、未学習ドメインに一般化できるか？
• RQ4 ペアドでない3Dデータを用いることで、2Dセマンティックセグメンテーションの性能とロバストネスにどのような影響を与えるか？
• RQ5 distilledされた3D表現が、効果的な3D特徴学習を示すために、深度再構成品質を向上させられるか？

主な発見

• 提案された3Dから2Dへの distillation 法は、未学習ドメインで評価した場合、NYU-v2でmIoUが19.08%から27.22%まで向上し、優れた一般化性能を示した。
• ScanNet-v2の検証セットでは、ペアドでない3Dデータを用いた場合、mIoUがベースラインの49.50から51.70に向上し、相対的に4.4%の改善を達成した。
• 可視化比較では、ドア、冷蔵庫、本棚、いすといった困難なオブジェクトの予測において顕著な改善が見られた。
• distillationを施した2Dネットワークからの深度再構成品質は、ベースラインよりも顕著に向上しており、効果的な3D特徴学習が示された。
• 計算オーバーヘッドをほとんど増加させないまま、ScanNet-v2、S3DIS、NYU-v2のすべてでSOTAの性能を達成した。
• 意味的注意型 adversarial loss により、ペアドでない2D-3Dデータを用いた効果的な訓練が可能となり、フレームワークの柔軟性とスケーラビリティが裏付けられた。