[論文レビュー] JOTR: 3D Joint Contrastive Learning with Transformers for Occluded Human Mesh Recovery

Jiahao Li, Zongxin Yang+4 more|arXiv (Cornell University)|Jul 31, 2023

3D Shape Modeling and AnalysisEngineering被引用数 3

ひとこと要約

本稿では、遮蔽された人体メッシュ回復のためのトランスフォーマーを用いた3次元連携対照学習フレームワーク、JOTRを提案する。2次元と3次元の特徴をエンコーダ・デコーダ型トランスフォーマー構造で統合し、関節同士および関節と非関節の対照的損失を用いた新しい3次元関節対照学習を導入することで、グローバルな監視を提供し、3次元表現の質を著しく向上させ、遮蔽特化型および標準ベンチマークで最先端の性能を達成した。

ABSTRACT

In this study, we focus on the problem of 3D human mesh recovery from a single image under obscured conditions. Most state-of-the-art methods aim to improve 2D alignment technologies, such as spatial averaging and 2D joint sampling. However, they tend to neglect the crucial aspect of 3D alignment by improving 3D representations. Furthermore, recent methods struggle to separate the target human from occlusion or background in crowded scenes as they optimize the 3D space of target human with 3D joint coordinates as local supervision. To address these issues, a desirable method would involve a framework for fusing 2D and 3D features and a strategy for optimizing the 3D space globally. Therefore, this paper presents 3D JOint contrastive learning with TRansformers (JOTR) framework for handling occluded 3D human mesh recovery. Our method includes an encoder-decoder transformer architecture to fuse 2D and 3D representations for achieving 2D$\&$3D aligned results in a coarse-to-fine manner and a novel 3D joint contrastive learning approach for adding explicitly global supervision for the 3D feature space. The contrastive learning approach includes two contrastive losses: joint-to-joint contrast for enhancing the similarity of semantically similar voxels (i.e., human joints), and joint-to-non-joint contrast for ensuring discrimination from others (e.g., occlusions and background). Qualitative and quantitative analyses demonstrate that our method outperforms state-of-the-art competitors on both occlusion-specific and standard benchmarks, significantly improving the reconstruction of occluded humans.

研究の動機と目的

• 既存手法が2次元アライメントと局所的3次元関節監視にのみ焦点を当てており、遮蔽や混雑したシーンでの一般化性能が低いという制限を解消すること。
• 2次元と3次元表現を統合して、粗いから細かい段階での2次元および3次元アライメントを実現することで、3次元人体メッシュ回復を向上させること。
• 全3次元特徴空間にわたりグローバルな監視を提供し、遮蔽物や背景からターゲットとなる人物を区別できるようにすることで、3次元表現の意味的明確性を高めること。
• 単一画像からの3次元再構成の不適切な性質を克服するため、識別的な3次元特徴学習を強化する対照学習目的を導入すること。
• 遮蔽特化型および標準の3次元人体メッシュ回復ベンチマークの両方で最先端の性能を達成すること。

提案手法

• JOTRは、エンコーダ・デコーダ型トランスフォーマー構造を採用し、2次元グローバル特徴（2次元特徴マップをフラット化して得る）と3次元ローカル特徴（3次元関節座標からサンプリングする）を統合して、2次元および3次元のアライメントを同時に実現する。
• 粗いから細かい段階での回帰戦略を用い、中間予測を複数のトランスフォーマーレイヤーで改善することで、メッシュの正確性を向上させる。
• 新規の3次元関節対照学習目的を導入し、2つの対照的損失から構成される：関節同士の対照により、意味的に類似したボクセル（例：人体関節）の類似性を強化し、関節と非関節の対照により、遮蔽物や背景からの分離を保証する。
• 関節同士の対照的損失は、関節関連特徴のコンパクトなクラスタリングを促進する一方、関節と非関節の対照損失は、非関節ボクセルからの分離を強制し、3次元特徴のグローバルな明確化を促進する。
• SMPLパラメータの回帰と関節クエリの学習を分離することで、干渉を低減し、最適化の安定性を向上させる。
• トランスフォーマー内のアテンション機構により、クエリトークンが3次元特徴に重点を置くようになることが確認され、2次元-3次元統合設計の有効性が裏付けられた。

実験結果

リサーチクエスチョン

• RQ1 統合された2次元-3次元特徴統合フレームワークは、遮蔽された人体メッシュ回復における2次元および3次元のアライメントを向上させることができるか？
• RQ2 対照学習によるグローバル3次元監視は、局所的3次元関節監視と比較して、より識別的で意味的に明確な3次元表現をもたらすか？
• RQ3 提案された3次元関節対照学習目的は、混雑したまたは遮蔽されたシーンでの性能向上にどのように寄与するか？
• RQ4 粗いから細かい段階でのトランスフォーマーに基づく回帰戦略は、エンドツーエンドベースラインと比較してメッシュ再構成の正確性を向上させることができるか？
• RQ5 SMPLクエリと関節クエリの分離は、全体の性能向上にどの程度寄与するか？

主な発見

• JOTRは3DPWベンチマークで最先端の性能を達成し、屋外環境下での3次元メッシュ再構成において、以前の手法を上回った。
• CMU-Panopticデータセットでは、多人数の屋内シーンにおいても、先行手法を上回る性能を示し、複雑で混雑した環境下でも頑健であることを実証した。
• アブレーションスタディの結果、3次元特徴統合が性能向上に寄与しており、2次元特徴のフラットネーションが2次元関節サンプリングを上回ることが判明した。特に遮蔽領域では顕著な優位性が示された。
• 関節と非関節の対照損失が、関節同士の対照損失よりも顕著に性能向上に寄与しており、グローバルな識別性の重要性が示された。
• アテンション重みの可視化により、最終レイヤーのクエリトークンが3次元特徴に強く集中していることが確認され、統合メカニズムの有効性が裏付けられた。
• 特徴の可視化により、対照学習目的が人体関節のためのよりコンパクトで明確に分離された埋め込みをもたらし、3次元表現の明確性が向上したことが確認された。