[論文レビュー] Semantic Correspondence via 2D-3D-2D Cycle

Yang You, Chengkun Li+5 more|arXiv (Cornell University)|Apr 20, 2020

3D Shape Modeling and Analysis参考文献 65被引用数 6

ひとこと要約

本論文は、自己遮蔽および可視性を明示的にモデル化することで、2Dのセマンティックマッチングを向上させるために、3D再構築と微分可能レンダリングを活用する2D-3D-2Dサイクルフレームワークを提案する。単一のRGB画像から3D形状を予測し、セマンティックラベルを再投影することで、微分可能レンダリングを用いてカメラポーズを精緻化することで、PF-PASCAL や SPair-71k などのベンチマークで最先端の性能を達成し、従来の2Dのみの手法を上回る。

ABSTRACT

Visual semantic correspondence is an important topic in computer vision and could help machine understand objects in our daily life. However, most previous methods directly train on correspondences in 2D images, which is end-to-end but loses plenty of information in 3D spaces. In this paper, we propose a new method on predicting semantic correspondences by leveraging it to 3D domain and then project corresponding 3D models back to 2D domain, with their semantic labels. Our method leverages the advantages in 3D vision and can explicitly reason about objects self-occlusion and visibility. We show that our method gives comparative and even superior results on standard semantic benchmarks. We also conduct thorough and detailed experiments to analyze our network components. The code and experiments are publicly available at https://github.com/qq456cvb/SemanticTransfer.

研究の動機と目的

• 2Dのみのセマンティックコアポンダント手法が自己遮蔽および空間的関係を明示的にモデル化できないという限界を解決すること。
• 3Dモデルのアノテーションと合成2Dレンダリングを活用することで、大規模な2D画像データセットへの依存を低減すること。
• 3D幾何と可視性について明示的な推論を実施することで、セマンティックコアポンダントのロバスト性と解釈可能性を向上させること。
• 3D中間表現が、エンドツーエンドの2D学習と比較して優れたまたは競争力のある結果をもたらす可能性を示すこと。

提案手法

• 本手法は、Wuら [57] のインスピレーションを受ける3D再構築ヘッドを用いて、単一のRGB画像から3D形状とセマンティックラベルを予測する。
• 2D画像から直接カメラ視点を推定し、KeypointNet [62] で訓練された3Dセマンティック予測モデルを用いて3D点にセマンティックラベルを割り当てる。
• 微分可能レンダラを用いて、2Dの監視信号から逆誤差伝搬を行うことで、予測されたカメラポーズを精緻化し、3D-2D投影の正確性を向上させる。
• パイプラインは2D-3D-2D変換を実行する：2D画像 → 3D形状 → 3Dセマンティックラベル → 投影された2Dセマンティックマップ。
• 部成分の性能を分離するために、アブレーションスタディでは真値の2.5Dスケッチ（シルエット、深度、法線）と3Dモデルを用いる。
• 3Dモデルから仮想2D画像を生成することで、データ依存性を低減し、3Dモデルのアノテーションのみで訓練可能にする。

実験結果

リサーチクエスチョン

• RQ1 自己遮蔽および可視性をより正確にモデル化できる3Dの明示的推論は、2Dのみの手法よりも2Dセマンティックコアポンダントの性能を向上させ得るか？
• RQ2 2D-3D-2Dサイクルパイプラインは、エンドツーエンドの2D学習と比較して、正確性および一般化性能においてどのように差を示すか？
• RQ3 3D再構築、視点推定、微分可能レンダリングといった個々のコンポonentが、最終的な性能にどの程度寄与しているか？
• RQ4 合成データ（例：ShapeNet）と実世界データ（例：Pix3D）との間のドメインシフトは、本手法のロバスト性にどの程度影響を与えるか？

主な発見

• PF-PASCALベンチマークでは、車両に対してα_img=0.1の条件下でPCKが0.574、航空機に対しては0.440を達成し、HPF や A2Net などの最先端手法を上回った。
• SPair-71kでは、車両で0.500のPCK、航空機で0.390のPCKを達成し、従来のアプローチを一貫して上回った。
• 予測された視点を真値に置き換えるとPCKが8.2%向上し、カメラポーズ推定が依然として主なボトルネックであることが示された。
• 真値の3Dモデルとセマンティックラベルを用いることで、PF-PASCALの車両でPCKが0.647に達し、3D段階が正確な場合に極めて有効であることがわかった。
• アブレーションスタディでは、すべてのコンポーネントを備えた2D-3D-2Dパイプラインが、Pix3D（椅子、α_img=0.1）でPCK 0.560を達成し、2Dのみのベースラインを著しく上回った。
• 本手法は合成データセット（ShapeNet）よりも実世界データ（Pix3D）に対してより良い一般化性能を示し、Pix3Dでの性能がShapeNet Syntheticよりも優れていた。これは、より現実的なカメラ分布に起因すると考えられる。