[論文レビュー] To The Point: Correspondence-driven monocular 3D category reconstruction

Filippos Kokkinos, Iasonas Kokkinos|arXiv (Cornell University)|Jun 10, 2021

Advanced Vision and Imaging参考文献 49被引用数 8

ひとこと要約

TTPは、カメラポーズと変形のCNNベースの回帰を、2D-3D対応点の微分可能でサンプルごとの最適化に置き換える、照応駆動型の単眼3次元カテゴリ再構成手法を提案する。剛体変換と非剛性変形を同時に最適化して再投影誤差を最小化することで、幾何的事前知識を必要とせず、1つのカメラ仮説のみでSOTAの結果を達成し、CUBおよびPASCAL3D+データセットにおいて先行手法を上回る性能を発揮する。

ABSTRACT

We present To The Point (TTP), a method for reconstructing 3D objects from a single image using 2D to 3D correspondences learned from weak supervision. We recover a 3D shape from a 2D image by first regressing the 2D positions corresponding to the 3D template vertices and then jointly estimating a rigid camera transform and non-rigid template deformation that optimally explain the 2D positions through the 3D shape projection. By relying on 3D-2D correspondences we use a simple per-sample optimization problem to replace CNN-based regression of camera pose and non-rigid deformation and thereby obtain substantially more accurate 3D reconstructions. We treat this optimization as a differentiable layer and train the whole system in an end-to-end manner. We report systematic quantitative improvements on multiple categories and provide qualitative results comprising diverse shape, pose and texture prediction examples. Project website: https://fkokkinos.github.io/to_the_point/.

研究の動機と目的

• カメラポーズと変形の直接的CNN回帰ではなく、2D-3D対応点を活用することで、単眼3次元再構成の不適切な定式化を緩和すること。
• トレーニングおよび推論の両段階で、エンドツーエンドのCNN回帰の代わりに、サンプルごとの最適化層を導入することで、最適化の複雑さと局所最適解の問題を軽減すること。
• 強い監視信号や事前に定義された幾何的事前知識を必要とせず、マスクアノテーションとオプションのキーポイントアノテーションのみで高精度な3次元再構成を実現すること。
• ポーズと変形を直接回帰するのではなく、対応点を予測することがより効果的であることを示し、精度と頑健性の向上を達成すること。

提案手法

• CNNを用いて、3Dテンプレート頂点に対応する2D画像座標を回帰し、これを微分可能レイヤーとして扱う。
• 各画像に対して、予測された3D頂点とその2D投影間の再投影誤差を最小化するように、剛体カメラ変換と非剛性変形を同時に推定するサンプルごとの最適化問題を解く。
• 最適化は微分可能であり、トレーニングパイプラインに統合されており、システム全体にエンドツーエンドの誤差逆伝播が可能である。
• ピixeLレベルの再投影誤差、可視性の一貫性、データオーギュメンテーションへの不変性を含む自己教師信号を用いる。
• 非剛性形状変形に学習された基底を採用し、消去実験により基底サイズが大きくなるほど性能が向上することが示された。
• キーポイント監視あり・なしの両設定でトレーニングを行い、キーポイントなし設定でも優れた性能を示した。

実験結果

リサーチクエスチョン

• RQ1 再投影誤差を直接最小化する微分可能最適化レイヤーは、カメラポーズと変形のCNNベースの回帰を上回るのか？
• RQ2 事前に定義されたカメラ視点や対称性といった幾何的事前知識を排除することで、一般化性能が向上し、複数の仮説サンプリングへの依存が軽減されるのか？
• RQ3 マスクアノテーションとオプションのキーポイントアノテーションという弱い監視信号のみで、高品質な3次元再構成がどの程度達成可能か？
• RQ4 1回の最適化ステップで十分な精度の3次元メッシュ回復が可能か？これにより、拡張現実などのリアルタイムまたはインタラクティブな応用が可能になるか？
• RQ5 キーポイント監視ありおよびキーポイントフリーの両設定において、対応点駆動型最適化の性能はSOTA手法を上回るのか？

主な発見

• TTPは、64個の基底成分とキーポイント監視を用いたPASCAL3D+データセットで3D mIoU 0.775を達成し、UCMRやCMRを含む先行手法を上回った。
• キーポイント監視なしでも、TTPはPASCAL3D+で0.752 mIoUを達成し、キーポイントフリーの競合手法（CSM：0.512 mIoU）を著しく上回った。
• CUBデータセットでは、キーポイント監視ありでPCKスコア93.6を達成し、次善の手法を10ポイント以上上回った。
• 消去実験では、ピixeLレベルの再投影誤差を削除すると、キーポイントなし設定でmIoUが0.667に低下し、この損失が監視において極めて重要な役割を果たしていることが示された。
• 1つのカメラ仮説のみでSOTAの結果を達成し、先行研究で用いられる複数のポーズ仮説や複雑な選択メカニズムの必要性を回避した。
• 定性的な結果では、CMR や UCMR と比較して、TTPはテクスチャ、変形、ポーズ推定の精度が高く、特に細部や複雑な形状の捉え方において優れた性能を示した。