[論文レビュー] Look Around and Refer: 2D Synthetic Semantics Knowledge Distillation for 3D Visual Grounding

Eslam Mohamed Bakr, Yasmeen Alsaedy+1 more|arXiv (Cornell University)|Nov 25, 2022

Multimodal Machine Learning Applications被引用数 13

ひとこと要約

本論文は、3次元点群から複数の視点の2次元画像生成器を介して2次元セマンティックの手がかりを合成することで、本物の2次元入力が不要な、3次元視覚的グランドイングのための新規なフレームワークLAR（Look Around and Refer）を提案する。LARは、Nr3D、Sr3D、ScanReferのベンチマークで最先端の性能を達成し、追加の2次元データを用いずに最大5.0%の向上を達成するとともに、本物の2次元画像を使用するモデルでさえも11.7%上回る。

ABSTRACT

The 3D visual grounding task has been explored with visual and language streams comprehending referential language to identify target objects in 3D scenes. However, most existing methods devote the visual stream to capturing the 3D visual clues using off-the-shelf point clouds encoders. The main question we address in this paper is "can we consolidate the 3D visual stream by 2D clues synthesized from point clouds and efficiently utilize them in training and testing?". The main idea is to assist the 3D encoder by incorporating rich 2D object representations without requiring extra 2D inputs. To this end, we leverage 2D clues, synthetically generated from 3D point clouds, and empirically show their aptitude to boost the quality of the learned visual representations. We validate our approach through comprehensive experiments on Nr3D, Sr3D, and ScanRefer datasets and show consistent performance gains compared to existing methods. Our proposed module, dubbed as Look Around and Refer (LAR), significantly outperforms the state-of-the-art 3D visual grounding techniques on three benchmarks, i.e., Nr3D, Sr3D, and ScanRefer. The code is available at https://eslambakr.github.io/LAR.github.io/.

研究の動機と目的

• 訓練時または推論時に本物の2次元画像に依存する3次元視覚的グランドイングモデルの制限を解消し、実世界への展開を促進すること。
• 3次元点群から導出される合成2次元表現が、3次元視覚的表現学習を効果的に向上させられるかを調査すること。
• 追加の2次元入力が不要な状態で、2次元セマンティクスを用いて3次元視覚的ストリームを統合する手法を開発し、より広範な応用シナリオを実現すること。
• 3次元点群と合成された2次元手がかりのみを用いて、3次元視覚的グランドイングベンチマークで最先端の性能を達成すること。

提案手法

• 2次元合成画像生成モジュール（SIG）は、シーン内の各オブジェクトの周囲に仮想カメラを配置し、3次元点群を複数の視点の2次元画像に投影する。
• SIGモジュールは、2次元グリッドへの投影時に生じる点の競合を解消するための高さに基づく優先順位機構を用いることで、視覚的忠実度を向上させる。
• 多モodal変換器ベースのアーキテクチャ、LARは、3次元点群特徴と合成2次元画像特徴を統合し、共同の視覚的・言語的表現学習を実現する。
• 本手法は、豊富な2次元セマンティック知識を3次元ストリームに転送するための知識蒸留を採用し、3次元表現品質の向上を図る。
• 訓練段階では、カメラの故障をシミュレートするためにカメラをランダムに無効化することで、カメラの変動に対する耐性を高める。
• オブジェクト候補を用いてモデルを訓練・評価し、検出ベースの候補に対しても対応を拡張する。

実験結果

リサーチクエスチョン

• RQ1 3次元点群から生成された合成2次元画像が、本物の2次元入力が不要な状態で、3次元視覚的グランドイング性能を効果的に向上させられるか。
• RQ2 2次元合成セマンティクスの統合が、カメラの故障や視点変化の下で3次元表現のロバストネスに与える影響はいかほどか。
• RQ3 本物の2次元画像を用いて訓練・推論を行うモデルと比較して、合成2次元監視を受ける3次元オンリーモデルが、どの程度優れた性能を示せるか。
• RQ4 本手法は、オブジェクトの曖昧さや不要なオブジェクトの密度が異なるさまざまな3次元視覚的グランドイングベンチマークに、どの程度一般化可能か。

主な発見

• Sr3DベンチマークにおいてLARは平均IoU 59.35%を達成し、新たな最先端の結果を樹立した。
• ScanReferベンチマークでは、LARは平均IoU 54.6%を達成し、本物の2次元画像を使用しない先行手法よりも2.3%高い性能を示した。
• Nr3Dでは、LARは最も近い3次元オンリーモデルよりも5.0%の精度向上を達成し、SATよりも1.6%高い精度を示したが、本物の2次元画像は一切使用していない。
• LARは、本物の2次元画像とクラスラベルを用いるSAT-GT（62% 対 50.3%）を11.7%上回り、合成2次元知識の有効性を実証した。
• ゼロショットのカメラドロップアウト条件下でもLARは強力な性能を維持し、1台のカメラが故障しても40.15%の精度を維持し、カメラの変動に対するロバストネスを示した。
• 定性的な分析から、曖昧で視点依存的な記述に対しても本手法は良好に一般化することが確認されたが、一部の失敗事例は投影の競合やオブジェクトの隠蔽に起因していた。