[論文レビュー] Part2Word: Learning Joint Embedding of Point Clouds and Text by Matching Parts to Words.

Chuan Yi Tang, Xi Yang+3 more|arXiv (Cornell University)|Jul 5, 2021

Human Pose and Action Recognition参考文献 41被引用数 6

ひとこと要約

本稿では、共有埋め込み空間内での部分と語の照合を通じて、点群の部分と文内の語をマッチングさせることで、共同3次元形状-テキスト埋め込みを学習するPart2Wordという手法を提案する。部分レベルの特徴とクロスモーダルアテンション、およびトリプレット順序損失を活用することで、標準ベンチマークにおけるマルチモーダル検索で最先端の性能を達成した。

ABSTRACT

It is important to learn joint embedding for 3D shapes and text in different shape understanding tasks, such as shape-text matching, retrieval, and shape captioning. Current multi-view based methods learn a mapping from multiple rendered views to text. However, these methods can not analyze 3D shapes well due to the self-occlusion and limitation of learning manifolds. To resolve this issue, we propose a method to learn joint embedding of point clouds and text by matching parts from shapes to words from sentences in a common space. Specifically, we first learn segmentation prior to segment point clouds into parts. Then, we map parts and words into an optimized space, where the parts and words can be matched with each other. In the optimized space, we represent a part by aggregating features of all points within the part, while representing each word with its context information, where we train our network to minimize the triplet ranking loss. Moreover, we also introduce cross-modal attention to capture the relationship of part-word in this matching procedure, which enhances joint embedding learning. Our experimental results outperform the state-of-the-art in multi-modal retrieval under the widely used benchmark.

研究の動機と目的

• 自己遮蔽と多様体学習の制約により、マルチビュー手法が3次元形状-テキスト埋め込みを学習する際の限界を解消すること。
• 全体的なビューではなく、3次元形状の部分レベルの意味論に焦点を当てることで、より正確な共同表現学習を可能にすること。
• 点群の部分と文内の個々の語を対応付けることで、マルチモーダル検索と形状-テキストマッチングを向上させること。
• 共有埋め込み空間内で部分-語の関係を動的にモデル化するクロスモーダルアテンションを用いて特徴学習を強化すること。
• 新規な部分-語マッチングパラダイムを用いて、既存手法を上回る性能を標準ベンチマークで達成すること。

提案手法

• まず、学習済みのセグメンテーションプライアを用いて点群を部分に分割し、部分レベルの特徴を抽出する。
• 各部分は、その内部のすべての点の特徴を集約することで表現され、局所的な幾何的構造を捉える。
• 文内の語は文脈情報を保持するように埋め込みられ、意味的意味を維持する。
• トリプレット順序損失を用いて共有埋め込み空間を最適化し、一致する部分-語ペア間の距離を最小化する。
• 埋め込み学習中に部分と語の関係を動的にモデル化するため、クロスモーダルアテンションを導入する。
• ネットワークはエンドツーエンドで訓練され、部分と語の表現を一致させつつ、意味的・幾何的整合性を保持する。

実験結果

リサーチクエスチョン

• RQ1 ビューに基づく手法と比較して、部分レベルの3次元形状表現は、共同埋め込み学習を改善できるか？
• RQ2 3次元形状の個々の部分を文内の語にマッチングさせることで、マルチモーダル検索はどの程度効果的に向上するか？
• RQ3 クロスモーダルアテンションは、3次元部分とテキスト語の間の整合性をどの程度向上させるか？
• RQ4 提案された部分-語マッチング戦略は、従来のビューに基づくまたは全体形状-テキストマッチング手法を上回るか？
• RQ5 部分および語の特徴を用いたトリプレット順序損失は、マルチモーダル検索タスクにおける一般化性能を向上させるか？

主な発見

• 提案されたPart2Word手法は、マルチモーダル検索ベンチマークで最先端の性能を達成し、既存手法を上回った。
• 部分レベルのセグメンテーションを用いることで、マルチビューレンダリング手法と比較して、より頑健な3次元形状表現が可能になった。
• クロスモーダルアテンションは、部分と語の整合性を顕著に向上させ、共同埋め込み品質の向上に寄与した。
• トリプレット順序損失は、埋め込み空間を効果的に最適化し、一致する部分-語ペアが非一致ペアよりも近くなるように保証した。
• 部分-語の細分化された対応により、形状-テキストマッチングおよび検索タスクにおける優れた一般化性能を示した。
• 結果から、部分レベルの分析が、自己遮蔽やビュー依存の制限による問題を軽減することが確認された。