[論文レビュー] Language Conditioned Spatial Relation Reasoning for 3D Object Grounding

Shizhe Chen, Pierre-Louis Guhur+3 more|arXiv (Cornell University)|Nov 17, 2022

Multimodal Machine Learning Applications参考文献 43被引用数 14

ひとこと要約

この論文は、3次元オブジェクトのグランドトゥーサンディングを向上させるために、トランスフォーマーに空間的自己注意機構を統合し、オブジェクト間の相対的な距離と方向を明示的にモデル化する、ビジョンアンドランゲージ3D関係推論モデルであるViL3DRelを提案する。本手法は、教師-生徒蒸留戦略を用い、真値ラベルで訓練された教師モデルから、生徒モデルが生の点群を入力として使用して空間的推論知識を転移する。Nr3D、Sr3D、ScanReferベンチマークにおいて、それぞれ9.3%、8.3%、4.47%の絶対的向上を達成し、最先端の性能を実現した。

ABSTRACT

Localizing objects in 3D scenes based on natural language requires understanding and reasoning about spatial relations. In particular, it is often crucial to distinguish similar objects referred by the text, such as "the left most chair" and "a chair next to the window". In this work we propose a language-conditioned transformer model for grounding 3D objects and their spatial relations. To this end, we design a spatial self-attention layer that accounts for relative distances and orientations between objects in input 3D point clouds. Training such a layer with visual and language inputs enables to disambiguate spatial relations and to localize objects referred by the text. To facilitate the cross-modal learning of relations, we further propose a teacher-student approach where the teacher model is first trained using ground-truth object labels, and then helps to train a student model using point cloud inputs. We perform ablation studies showing advantages of our approach. We also demonstrate our model to significantly outperform the state of the art on the challenging Nr3D, Sr3D and ScanRefer 3D object grounding datasets.

研究の動機と目的

• 自然言語の指示に含まれる「左端」や「最も近い」などの空間的関係を明示的にモデル化することで、3次元オブジェクトのグランドトゥーサンディングを向上させること。
• 3次元シーン-言語データセットの限界を補うために、教師モデルが真値ラベルで訓練された空間的推論知識を、生点群を入力として使用する生徒モデルに転移する知識蒸留を活用すること。
• 3次元オブジェクト間の相対的距離と方向を符号化する空間的自己注意機構を、トランスフォーマーに基づくモデルに統合すること。
• ノイズの多い点群特徴に依存するのを減らすために、真値オブジェクトラベルで訓練された教師モデルに基づく教師-生徒フレームワークを採用すること。
• 回転増強と空間的・自己注意のシグモイド-ソフトマックス融合を用いて、視点不変性を持つ強力な空間的推論を実現すること。

提案手法

• 3次元点群内のすべてのオブジェクトペア間の相対的距離と方向に基づいて注意スコアを計算する、新しい空間的自己注意レイヤーを導入する。
• 言語に従う推論と空間的推論のバランスを取るために、空間的注意と標準的自己注意をシグモイド-ソフトマックス関数で融合する。
• 教師-生徒蒸留フレームワークを採用し、教師モデルは真値オブジェクトラベルを用いて正確な空間的関係を学習し、生徒モデルは教師の予測結果を用いて生の点群入力を学習する。
• 視点不変性を向上させるために、訓練中に回転増強を適用する。
• 点群特徴とテキスト埋め込みを入力として、グランドトゥーサンディング精度の交差エントロピー損失を用いて、エンドツーエンドでモデルを訓練する。
• 本手法は、真値と検出されたオブジェクト候補の両方を用いて、3つのベンチマーク（Nr3D、Sr3D、ScanRefer）で評価される。

実験結果

リサーチクエスチョン

• RQ1 相対的距離と方向を符号化する空間的自己注意機構が、言語に従う設定における3次元オブジェクトグランドトゥーサンディングを改善できるか？
• RQ2 真値ラベルで訓練された教師モデルから、生の点群を入力として使用する生徒モデルに空間的推論知識を転移することで、性能が向上するか？
• RQ3 本手法は、困難な3次元グランドトゥーサンディングベンチマークにおいて、最先端の手法と比較してどの程度の精度向上を達成するか？
• RQ4 回転増強は、視点変化に対するモデルのロバストネスをどの程度向上させるか？
• RQ5 限られた学習データでも、多様な3次元環境に一般化できるか？

主な発見

• ViL3DRelは、真値オブジェクト候補を用いた場合、Nr3Dデータセットで前回の最先端手法に対して9.3%の絶対的向上を達成した。
• Sr3Dデータセットでは、同じ評価プロトコル下で、前回のSOTA手法に対して8.3%の絶対的向上を達成した。
• ScanReferデータセットでは、同じ検出されたオブジェクト候補を用いた場合、全体の正確性で前回のSOTAを4.47ポイント上回った。
• アブレーションスタディの結果、空間的自己注意モジュールと教師-生徒蒸留戦略の両方が性能向上に顕著に寄与することが確認された。
• 2次元-3次元アライメントや追加の2次元画像に依存する手法とは異なり、本モデルは多様な3次元環境において優れた一般化性能を示した。これらの情報は必ずしも利用可能ではない。
• 完全な監視（真値の候補とラベル）を用いた上限性能と、検出された候補を用いた設定との間には12%を超える大きな性能差が確認され、候補の品質の難しさが浮き彫りになった。