[論文レビュー] 3D-Aware Scene Manipulation via Inverse Graphics

Shunyu Yao, Tzu Ming Harry Hsu+5 more|arXiv (Cornell University)|Aug 28, 2018

Computer Graphics and Visualization Techniques参考文献 10被引用数 44

ひとこと要約

この論文は、3D-SDN を提案します。エンコーダ-デコーダフレームワークで、シーンの意味論、ジオメトリ、外観を分離して学習し、 differentiable な形状レンダラとテクスチャ生成器を用いて 3D 認識を伴う編集を可能にします。Virtual KITTI と Cityscapes で、2D ベースラインよりも 3D 認識を伴う編集の性能が優れていることを、画像編集ベンチマークとアブレーションで実証します。

ABSTRACT

We aim to obtain an interpretable, expressive, and disentangled scene representation that contains comprehensive structural and textural information for each object. Previous scene representations learned by neural networks are often uninterpretable, limited to a single object, or lacking 3D knowledge. In this work, we propose 3D scene de-rendering networks (3D-SDN) to address the above issues by integrating disentangled representations for semantics, geometry, and appearance into a deep generative model. Our scene encoder performs inverse graphics, translating a scene into a structured object-wise representation. Our decoder has two components: a differentiable shape renderer and a neural texture generator. The disentanglement of semantics, geometry, and appearance supports 3D-aware scene manipulation, e.g., rotating and moving objects freely while keeping the consistent shape and texture, and changing the object appearance without affecting its shape. Experiments demonstrate that our editing scheme based on 3D-SDN is superior to its 2D counterpart.

研究の動機と目的

• interpretable で表現力が高く、意味論、物体のジオメトリ/ポーズ、外観をエンコードする disentangled なシーン表現を得ること。
• 3D 認識を伴うシーン操作を可能にし、形状とテクスチャを保持しつつ物体を移動・回転できるようにすること。
• ジオメトリとテクスチャを統合して忠実なシーン再構成を図る differentiable なレンダラを活用すること。
• オブジェクト単位の編集をサポートし、2D ベースラインと比較した評価を行えるエンコーダ-デコーダフレームワークを提供すること。

提案手法

• semantic 條、geometry、texture の三つのブランチを用いたエンコーダで、画像を構造化されたオブジェクト単位の表現へデ-render する。
• differentiable shape renderer を適用して、各オブジェクトの 3D メッシュ、ポーズ、Free-Form Deformation (FFD) を推定する。
• instance-wise texture codes を用いたテクスチャレンダリングと、条件付き GAN に基づくテクスチャレンダラーで画像を再構成する。
• 3D ポーズ/法線マップをテクスチャ部へ入力してポーズに対して曖昧なテクスチャエンコーディングを抑制し、ジオメトリとテクスチャをデカップル化する。
• 3D 属性予測損失、再投影損失、GAN ベースのテクスチャ損失、特徴マッチング、知覚損失を組み合わせて学習する。

実験結果

リサーチクエスチョン

• RQ1 エンコーダ-デコーダフレームワークは、シーンの意味論・幾何・テクスチャの分離表現を学習できるか。
• RQ2 differentiable な 3D レンダラを組み込むと、テクスチャを保持しつつ物体のポーズ・位置を変更するような 3D 認識を伴う編集が正確に可能になるか。
• RQ3 明示的な 3D 監視と再投影の整合性が、3D 属性推定とレンダリングの忠実度にどのように寄与するか。
• RQ4 3D 認識を伴う編集は、純粋な 2D 編集アプローチと比べて知覚品質やリアリズムにおいてどのように優れているか。

主な発見

• 3D-SDN のフレームワークは、意味論・ジオメトリ・外観を分離することで 3D 認識を伴う編集を可能にし、ポーズ/位置の変更とテクスチャの変更を互いに影響させずに行える。
• Virtual KITTI と Cityscapes で、3D 認識を伴う編集は知覚指標と人間の判断において 2D ベースラインを上回る。
• アブレーション研究では、複数の CAD メッシュを FFD、再投影損失、適切な四元数/間隔制約と組み合わせると、3D 属性の精度とシルエット再投影が改善されることを示す。
• 定量的な結果は、提供されたベンチマーク上で 3D-SDN 編集の LPIPS スコアが低く、2D ベースラインより人間の好評が高いことを示している。
• この手法は、インスタンス・ポーズ・法線マップといった一貫した 3D 表現を生み出し、頑健な 3D 操作と遮蔽推論をサポートする。