[論文レビュー] SHARP 2020: The 1st Shape Recovery from Partial Textured 3D Scans Challenge Results

Alexandre Saint, Anis Kacem+8 more|arXiv (Cornell University)|Oct 26, 2020

3D Shape Modeling and Analysis参考文献 20被引用数 5

ひとこと要約

本論文は、部分的・不完全な3Dスキャンからの3D形状およびテクスチャ回復のための最初のベンチマークである SHARP 2020 を提示する。2つの新規データセット（3DBodyTex.v2 は人体スキャン用、3DObjectTex は一般的なオブジェクト用）と、形状、テクスチャ、完成度を統合的に測定するカスタム評価フレームワークを導入している。最良の手法である RVH-IF は、人体スキャンで83%、オブジェクトスキャンで75%のスコアを達成し、本課題の厳密さと、テクスチャを考慮した3D完成に向けたimplicit feature networkの可能性を示している。

ABSTRACT

The SHApe Recovery from Partial textured 3D scans challenge, SHARP 2020, is the first edition of a challenge fostering and benchmarking methods for recovering complete textured 3D scans from raw incomplete data. SHARP 2020 is organised as a workshop in conjunction with ECCV 2020. There are two complementary challenges, the first one on 3D human scans, and the second one on generic objects. Challenge 1 is further split into two tracks, focusing, first, on large body and clothing regions, and, second, on fine body details. A novel evaluation metric is proposed to quantify jointly the shape reconstruction, the texture reconstruction and the amount of completed data. Additionally, two unique datasets of 3D scans are proposed, to provide raw ground-truth data for the benchmarks. The datasets are released to the scientific community. Moreover, an accompanying custom library of software routines is also released to the scientific community. It allows for processing 3D scans, generating partial data and performing the evaluation. Results of the competition, analysed in comparison to baselines, show the validity of the proposed evaluation metrics, and highlight the challenging aspects of the task and of the datasets. Details on the SHARP 2020 challenge can be found at https://cvi2.uni.lu/sharp2020/.

研究の動機と目的

• 不完全な3Dスキャンからの3D形状およびテクスチャ完成のための標準化されたベンチマークを確立すること。
• テクスチャを伴う部分的3Dスキャン回復のための包括的なデータセットおよび評価プロトコルの不足に対処すること。
• 教師データ、合成された部分スキャン、再利用可能な評価ライブラリを提供することで、3D再構成分野の研究を促進すること。
• 形状、テクスチャ、完成率の統合的性能を、画期的な統一評価指標を用いて定量化すること。
• 特にオクルージョンや非均一な素材を伴う部分的データからの複雑な形状およびテクスチャの再構成における課題を浮き彫りにすること。

提案手法

• 本チャレンジでは、2つの独自のデータセットを用いる：3DBodyTex.v2（3,000件の高解像度人体スキャン）と3DObjectTex（1,200件の一般的なオブジェクトスキャン）、両者とも任意のUVマップを用いたテクスチャ付き三角形メッシュとしてエンコードされている。
• 部分スキャンは、完全スキャンからランダムに領域を除去することで合成的に生成され、評価のための真値が保持される。
• 形状再構成、テクスチャ再構成、完成率を統合した1つのスコアに組み合わせた画期的な評価指標が提案されている。
• 3Dスキャンの処理、部分データの生成、および提案された指標を用いた提出物の評価を可能にするカスタムソフトウェアライブラリが公開されている。
• 評価フレームワークは、人体スキャンとオブジェクトスキャンの両方のチャレンジをサポートしており、チャレンジ1では身体部位と細部の高精度再構成のための別々のトラックが設けられている。
• 最良の手法である RVH-IF は、3Dデータにおけるテクスチャ完成にimplicit feature networkを採用し、学習された表現を活用して欠損した幾何学的形状と外観を予測している。

実験結果

リサーチクエスチョン

• RQ1 最先端の手法は、部分的・不完全な3Dスキャンから、完全な3D形状およびテクスチャをどれほど正確に回復できるか？
• RQ2 形状のみの手法と比較して、テクスチャ情報の組み込みが、3D再構成の品質およびリアリズムをどの程度向上させるか？
• RQ3 衣類、ポーズ、オブジェクトの複雑さの違いが、3D形状およびテクスチャ完成の難易度にどのように影響するか？
• RQ4 統一された評価指標は、形状の正確さ、テクスチャの忠実度、完成率のトレードオフを効果的に捉えられるか？
• RQ5 細部、非凸形状、反射性素材などの、3D完成における最も困難な側面は何か？ それらは性能にどのように影響を与えるか？

主な発見

• RVH-IF 手法は、チャレンジ1、トラック2（細部の人体）で最高の83%のスコアを達成し、ベースライン（41.1%）および SnT-3DB（60.7%）を大きく上回った。
• チャレンジ2（一般的なオブジェクト）では、RVH-IF-2 が75%のスコアを記録し、ベースラインより30ポイント以上も上回り、多様なオブジェクトカテゴリへの強い汎化能力を示した。
• テクスチャ再構成は形状再構成よりも一般的に容易であったが、特に一様なパターンの衣類では顕著であった。一方、穴、折り目、鋭いエッジを伴う複雑な形状は回復が困難であった。
• チャレンジ2では、形状スコアとテクスチャスコアの相関がチャレンジ1よりも低く、一般的なオブジェクトでは形状とテクスチャの完成が互いにあまり関連していないことを示している。
• 滑らかで閉じた表面メッシュは、非凸または不規則な形状よりも正確に再構成された。これは、幾何学的複雑さが主な課題であることを強調している。
• 評価指標は性能の差を効果的に捉え、ベンチマークが手法の差を区別できる能力を検証した。今後のチャレンジにおいても適切な指標であることが確認された。