[論文レビュー] 3D Reconstruction of Deformable Revolving Object under Heavy Hand Interaction

Raoul de Charette, Sotiris Manitsaris|arXiv (Cornell University)|Aug 5, 2019

Optical measurement and interference techniques参考文献 30被引用数 4

ひとこと要約

本稿では、陶芸におけるような重い手作業を伴う変形可能で回転対称な物体の3次元再構成に対して、粒子エネルギー最適化手法を提案する。1台以上の深度センサを用い、回転対称性と時間的一致性を活用することで、遮蔽や変形があっても頑健な再構成を実現し、最先端の7.60 mmの平均再構成誤差を達成した。

ABSTRACT

We reconstruct 3D deformable object through time, in the context of a live pottery making process where the crafter molds the object. Because the object suffers from heavy hand interaction, and is being deformed, classical techniques cannot be applied. We use particle energy optimization to estimate the object profile and benefit of the object radial symmetry to increase the robustness of the reconstruction to both occlusion and noise. Our method works with an unconstrained scalable setup with one or more depth sensors. We evaluate on our database (released upon publication) on a per-frame and temporal basis and shows it significantly outperforms state-of-the-art achieving 7.60mm average object reconstruction error. Further ablation studies demonstrate the effectiveness of our method.

研究の動機と目的

• 陶芸の作業のように、未知の変形可能で回転対称な物体のインタラクティブな操作下での3次元再構成の課題に対処すること。
• 既存手法が要求する既知のテンプレート、剛体仮定、またはテクスチャの事前知識が、重度の遮蔽や変形では失敗することを克服すること。
• 物体の形状やテクスチャに関する事前知識が不要な、制約が少なくスケーラブルな設定（1台以上の深度センサ）で頑健な再構成を可能にすること。
• 手による部分的遮蔽やモデリング過程中の動的形状変化があっても高い精度を維持すること。
• 回転対称性の活用と粒子ベースの最適化により、時間的一致性とノイズおよびセンサのばらつきに対する耐性を確保すること。

提案手法

• 物体の回転対称性を活用して、3次元点群を2次元極座標（ρ, h）空間に写像し、問題をプロファイル推定に簡略化する。
• 極座標領域で粒子エネルギー最適化を適用し、幾何的および外観に基づくエネルギー項の組み合わせを最小化することで、物体の3次元プロファイルを推定する。
• 極座標空間を離散化するための回転アキュムレータを採用し、精度と計算コストのバランスを最適化する。
• 複数の深度センサの点群を登録し、再構成パイプラインの統合入力に統合する。
• 時間フィルタリングと粒子再サンプリング（重み0.8）を用いて、フレーム間の安定性を向上させ、ジターリダクションを実現する。
• 物体の回転対称性を活用することで、手が物体の一部を覆うような部分的遮蔽やノイズに対しても、再構成の頑健性を高める。

実験結果

リサーチクエスチョン

• RQ1 未知の変形可能で回転対称な物体の3次元再構成は、形状やテクスチャの事前モデルに依存せずに、重度の手作業による干渉下でも達成可能か？
• RQ2 動的でインタラクティブな状況下で部分的遮蔽やセンサノイズにさらされた際、回転対称性は再構成の頑健性をどのように向上させるか？
• RQ3 センサ数と粒子数の増加が、再構成精度と計算効率に与える影響は何か？
• RQ4 回転アキュムレータの解像度が再構成の精度と処理時間に与える影響は何か？
• RQ5 スケーラブルで制約のない深度センサセットは、リアルタイムインタラクティブアプリケーションで1cm未満の再構成精度を達成可能か？

主な発見

• 提案手法は平均再構成誤差7.60 mmを達成し、類似条件下で10 mmを超える誤差を報告する最先端手法を著しく上回った。
• 2台の深度センサを用いることで、最良の単一センサ（8.09 mm vs. 9.77 mm）と比較して平均誤差が17.20%低減され、センサ融合の利点が明確に示された。
• 粒子数を100から1000に増加させることで精度が19.74%向上したが、1000粒子を超えてもさらなる向上はわずか（5000粒子では僅か4.60%の向上）。
• 回転アキュムレータの解像度を64×64に高めることで、16×16と比較して平均誤差が11.39%低減（8.43 mm vs. 9.39 mm）したが、処理時間は5.35倍に増加した。
• センサの欠落や部分的遮蔽に対しても本手法は頑健であり、1台のセンサや高ノイズ環境下でも10 mm未満の誤差を維持した。
• 改善が見られたものの、最大誤差（HD）は一部のケースで20 mmを超えることがあり、重度の遮蔽下では限界があることが示唆された。完全な遮蔽処理には、空間的・時間的事前知識の導入が求められる。