[論文レビュー] Learning to Reconstruct Texture-less Deformable Surfaces from a Single View

Jan Bednařík, Pascal Fua+1 more|arXiv (Cornell University)|Mar 23, 2018

3D Shape Modeling and Analysis参考文献 36被引用数 7

ひとこと要約

本論文は、従来のSfS（形状から明るさ）の制限を回避するデータ駆動型の深層学習アプローチを提案し、1枚の画像から模様のない可動性のある表面の3次元形状を再構築する。メッシュパラメータを予測するのではなく、畳み込みニューラルネットワーク（CNN）を用いて密度の高い深度マップと法線マップを回帰することで、細かいディティール（しわなど）を捉える能力に優れ、最先端のSfS手法と比較して顕著な精度向上を達成。また、未学習の物体やオブジェクトカテゴリにわたる一般化性能が高く、最適化ベースのSfS手法と比較して10000倍以上高速な推論を実現した。

ABSTRACT

Recent years have seen the development of mature solutions for reconstructing deformable surfaces from a single image, provided that they are relatively well-textured. By contrast, recovering the 3D shape of texture-less surfaces remains an open problem, and essentially relates to Shape-from-Shading. In this paper, we introduce a data-driven approach to this problem. We introduce a general framework that can predict diverse 3D representations, such as meshes, normals, and depth maps. Our experiments show that meshes are ill-suited to handle texture-less 3D reconstruction in our context. Furthermore, we demonstrate that our approach generalizes well to unseen objects, and that it yields higher-quality reconstructions than a state-of-the-art SfS technique, particularly in terms of normal estimates. Our reconstructions accurately model the fine details of the surfaces, such as the creases of a T-Shirt worn by a person.

研究の動機と目的

• 従来のSfS（形状から明るさ）手法が困難である模様のない可動性のある表面の3次元再構築という長年の課題に取り組む。
• 模様のない環境下でメッシュベースの回帰に起因する限界を克服し、しわや自己影のような微細な幾何的ディティールを良好に捉える。
• 再トレーニングやファインチューニングなしに多様なオブジェクトカテゴリに一般化可能なデータ駆動型SfSフレームワークを構築する。
• 複雑な照明下で均一に反射する変形可能な表面の26,500サンプルのラベル付き大規模リアルワールドデータセットを構築する。
• 最適化ベースのSfS手法と比較して、顕著に高速な推論と、より高い品質の3次元再構築、特に法線推定の精度を向上させる。

提案手法

• 1枚のRGB画像から直接密度の高い深度マップと法線マップを予測するマルチストリーム畳み込みニューラルネットワーク（CNN）を訓練する。メッシュパラメータ化を回避する。
• 模様のない可動性のある表面が複雑な変形を示し、現実的な照明条件下にある26,500サンプルのリアルワールドデータセットを用いて学習を行う。
• 真値の深度マップと法線マップを教師信号として提供。3次元メッシュや複雑な照明アノテーションと比較して、取得が比較的容易である。
• 自己影、隠蔽、相互反射などの複雑な光度的効果を明示的にモデル化せずに処理できるようにネットワークアーキテクチャを設計。
• 推論は1回の順伝播処理で実行され、最適化ベースのSfS手法が反復的ソルバーを必要とするのとは対照的に、リアルタイム性能を達成。
• 一般化性能が優れている：例えばTシャツで学習したモデルは、ファインチューニングなしにスウェーター、フード付きパーカーなどの他のカテゴリの衣類に対しても正確な再構築が可能。

実験結果

リサーチクエスチョン

• RQ1 複雑な照明下でも、模様のない可動性のある表面の再構築において、データ駆動型アプローチが従来のSfS手法を上回ることができるか？
• RQ2 メッシュベースの回帰と比較して、密度の高い深度マップと法線マップを予測するアプローチが、模様のない3次元再構築においてより効果的であるか？
• RQ3 1つのオブジェクトで学習したモデルが、ファインチューニングなしに未学習で構造的に異なる可動性のあるオブジェクトに一般化できるか？
• RQ4 本手法は、鋭いしわや折り目といった微細な幾何的ディティールをどれほど正確に捉えられるか？
• RQ5 最先端のSfS手法と比較して、再構築精度と推論速度のトレードオフはどのようになるか？

主な発見

• 提案手法は、評価されたすべての指標で最先端のSfS手法[5]を上回った。Tシャツテストセットでは、平均角誤差（mAE）が18.07° ± 12.71°（本手法）であり、SIRFSの30.17° ± 20.26°と比較して顕著な改善を示した。
• 法線品質も顕著に向上：Tシャツでは66.27%の予測が真値から10°以内に収まり、SIRFSの36.63%と比較して優位であった。
• 一般化性能が効果的である：衣類とTシャツのデータで学習したモデルは、未学習の衣類（スウェーター、フード付きパーカー）に対しても性能向上を示し、mAEはそれぞれ25.75° ± 16.72°および24.66° ± 17.36°に低下した。
• 反復的最適化が不要なため、SIRFS（113.653秒）と比較して10,000倍以上高速な推論を実現。1枚の画像あたり0.01秒で処理可能。
• 深度ベースの指標（mD）でも一貫した改善が確認された：Tシャツでは、本手法が17.18 ± 18.58 mm、SIRFSが31.09 ± 15.03 mmであった。
• 定性的な結果では、図1および図7に示すように、衣類の鋭いしわや折り目といった微細ディティールの回復が顕著に優れていた。