[論文レビュー] Contextual Modeling for 3D Dense Captioning on Point Clouds

Yufeng Zhong, Xu Long+2 more|arXiv (Cornell University)|Oct 8, 2022

Multimodal Machine Learning Applications被引用数 8

ひとこと要約

本稿では、3次元密度キャプションのための新しい文脈モデリングフレームワークを提案する。このフレームワークは、スーパーポイントとしてのポイントクラスタリング特徴を文脈情報として統合することで、記述の質を向上させる。グローバル文脈モデリング（GCM）モジュールとローカル文脈モデリング（LCM）モジュールを導入し、グローバルなシーン文脈とローカルな近隣関係を捉える。スキャンリファレンスデータセットにおいて54.30%のC@0.5IoUという最先端の性能を達成した。

ABSTRACT

3D dense captioning, as an emerging vision-language task, aims to identify and locate each object from a set of point clouds and generate a distinctive natural language sentence for describing each located object. However, the existing methods mainly focus on mining inter-object relationship, while ignoring contextual information, especially the non-object details and background environment within the point clouds, thus leading to low-quality descriptions, such as inaccurate relative position information. In this paper, we make the first attempt to utilize the point clouds clustering features as the contextual information to supply the non-object details and background environment of the point clouds and incorporate them into the 3D dense captioning task. We propose two separate modules, namely the Global Context Modeling (GCM) and Local Context Modeling (LCM), in a coarse-to-fine manner to perform the contextual modeling of the point clouds. Specifically, the GCM module captures the inter-object relationship among all objects with global contextual information to obtain more complete scene information of the whole point clouds. The LCM module exploits the influence of the neighboring objects of the target object and local contextual information to enrich the object representations. With such global and local contextual modeling strategies, our proposed model can effectively characterize the object representations and contextual information and thereby generate comprehensive and detailed descriptions of the located objects. Extensive experiments on the ScanRefer and Nr3D datasets demonstrate that our proposed method sets a new record on the 3D dense captioning task, and verify the effectiveness of our raised contextual modeling of point clouds.

研究の動機と目的

• 従来の3次元密度キャプション手法が対象間の関係にのみ注目し、非対象の詳細や背景文脈を無視するという限界を解消すること。
• ポイントクラスタリング特徴（スーパーポイント）からの文脈情報を統合することで、3次元密度キャプションの質と正確性を向上させること。
• グローバルおよびローカルな文脈を統合した粗いから細かい文脈モデリング戦略を開発し、対象表現を強化すること。
• 背景および環境的文脈を統合することで、ポイントクラウド内の3次元対象のより包括的かつ正確な記述が得られることを実証すること。

提案手法

• 検出器を用いて候補対象を抽出し、ポイントクラウドのサンプリングとクラスタリングによりスーパーポイントを生成する。これにより、非対象の詳細や背景環境が捉えられる。
• すべての候補対象およびスーパーポイント間の関係をモデル化するグローバル文脈モデリング（GCM）モジュールを提案する。これにより、包括的なシーン文脈が得られる。
• ターゲット対象の周囲の対象およびスーパーポイントに注目するローカル文脈モデリング（LCM）モジュールを設計する。これにより、ローカルな空間的および意味的特徴が豊かになる。
• GCMおよびLCMの特徴を統合することで、グローバルなシーン理解とローカルな対象文脈を組み合わせ、より詳細かつ正確な記述が可能になる。
• GCMおよびLCM内でメッセージパッシングとアテンションメカニズムを活用し、複雑な関係性と依存関係を効果的に捉える。
• 対照学習とキャプション損失を用いてエンドツーエンドのモデルを訓練し、グランドイングとキャプションの両方の性能を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 ポイントクラスタリング特徴（スーパーポイント）を文脈情報として統合することで、3次元密度キャプションの質が向上するか？
• RQ2 グローバルなシーン文脈とローカルな近隣文脈の両方をモデル化することは、対象の局所化および記述の正確性にどのように影響するか？
• RQ3 非対象の詳細および背景環境は、より正確で包括的な記述を生成するためにどの程度貢献するか？
• RQ4 提案された粗いから細かい文脈モデリング戦略（GCM + LCM）は、対象間関係のみをモデル化する手法を上回るか？
• RQ5 スーパーポイントの統合により、複数の類似対象を含む記述における曖昧さを低減できるか？

主な発見

• 提案手法は、スキャンリファレンスデータセットにおいて54.30%のC@0.5IoUという、新たな最先端の性能を達成し、先行手法を顕著に上回った。
• アブレーションスタディにより、GCMおよびLCMモジュールが独立して寄与しており、併用することで最も高い性能向上が得られた。
• スーパーポイントの統合により、グローバル文脈モデリングが向上し、GCMにおけるC@0.5mAPが2.1%向上した（対象のみを用いた場合と比較）。
• LCMモジュールはローカルな空間的推論を強化し、'左から2番目のチェア'のような明確な記述が可能になった。
• 定性的な結果では、モデルが'2つのソファの間'や'ベッドの上'といった、先行モデルが捉えられなかったより詳細な記述を生成していることが示された。
• NR3Dに対しても一般化が良く、全指標で優れた結果を達成しており、多様な3次元シーンにおいて有効性が確認された。