[論文レビュー] Cut-and-Paste Neural Rendering

Anand Bhattad, David Forsyth|arXiv (Cornell University)|May 4, 2021

Computer Graphics and Visualization Techniques参考文献 49被引用数 8

ひとこと要約

本稿では、被写体シーンのシェーディングと調和するように挿入されたオブジェクトを再現するため、アルベド、シェーディング場、表面法線を一貫性を持たせるように制約する深層画像プライア（DIP）をニューラルレンダラとして用いる「カットアンドパストニューラルレンダリング」を提案する。本手法は、幾何学的モデルやレンダリング済みの訓練データ、アノテート済みラベルを一切必要とせず、あくまで事前学習済みの法線推定器があれば、現実的なシェーディングを実現する。

ABSTRACT

Cut-and-paste methods take an object from one image and insert it into another. Doing so often results in unrealistic looking images because the inserted object's shading is inconsistent with the target scene's shading. Existing reshading methods require a geometric and physical model of the inserted object, which is then rendered using environment parameters. Accurately constructing such a model only from a single image is beyond the current understanding of computer vision. We describe an alternative procedure -- cut-and-paste neural rendering, to render the inserted fragment's shading field consistent with the target scene. We use a Deep Image Prior (DIP) as a neural renderer trained to render an image with consistent image decomposition inferences. The resulting rendering from DIP should have an albedo consistent with composite albedo; it should have a shading field that, outside the inserted fragment, is the same as the target scene's shading field; and composite surface normals are consistent with the final rendering's shading field. The result is a simple procedure that produces convincing and realistic shading. Moreover, our procedure does not require rendered images or image-decomposition from real images in the training or labeled annotations. In fact, our only use of simulated ground truth is our use of a pre-trained normal estimator. Qualitative results are strong, supported by a user study comparing against state-of-the-art image harmonization baseline.

研究の動機と目的

• 新しいシーンにオブジェクトを貼り付ける際の不自然なシェーディングの課題に対処すること。
• 挿入オブジェクトの明示的な幾何学的または物理的モデルの必要性を排除すること。
• オブジェクトの単一画像と事前学習済みの法線推定器のみを用いて、現実的な画像調和を実現すること。
• レンダリング済みの訓練画像や画像分解のアノテーションを一切必要としない手法を開発すること。
• ニューラルレンダリングによるアルベド、シェーディング、法線の暗黙的最適化を通じて、写真のようにリアルな結果を生成すること。

提案手法

• 複合画像の再構築を一貫性のある画像分解能に合わせて行うように訓練されたニューラルレンダラとして、深層画像プライア（DIP）を用いる。
• DIPを最適化し、複合画像のアルベドと整合性を持つアルベドを生成する。
• 挿入オブジェクトの外側のシェーディング場が、ターゲットシーンのシェーディング場と一致するように制約を課す。
• 複合された表面法線が、最終レンダリングのシェーディング場と整合性を持つように保証する。
• 事前学習済みの法線推定器を初期の法線監視に用いるが、訓練中に真値の法線を必要としない。
• 合成された真値画像やアノテート済みの分解なしに、画像レベルの最適化にのみ依存する。

実験結果

リサーチクエスチョン

• RQ1 深層画像プライアに基づくニューラルレンダラは、明示的な3D幾何学を必要とせず、現実的なシェーディング調和を達成できるか？
• RQ2 画像レベルの監視のみで、一貫性のあるアルベド、シェーディング、表面法線を同時に最適化できるか？
• RQ3 レンダリング済みの訓練データやアノテーションを一切使わず、最先端の画像調和ベースラインを上回ることができるか？
• RQ4 単一画像のオブジェクトを、事前学習済みの法線推定器と画像最適化のみで、現実的にシーンに貼り付けられるか？
• RQ5 物理的パrameterの明示的最適化なしに、得られたレンダリングが知覚的に一貫性があり、視覚的に説得力を持つか？

主な発見

• 提案手法は、3Dモデルや物理的シーンパrameterを一切必要とせず、カットアンドパスト操作における高品質なシェーディングを実現する。
• 本手法は優れた定性的な結果を達成しており、ユーザースタディにより視覚的リアリズムが確認された。
• 訓練中にレンダリング済みの画像やアノテート済みの画像分解を一切必要としない。
• 事前学習済みの法線推定器の使用により、微調整や真値ラベルなしに一貫性のある表面法線推定が可能である。
• ユーザースタディの結果、本手法は最先端の画像調和ベースラインを、知覚的品質において上回っている。
• DIPによる暗黙的最適化が、アルベド、シェーディング、法線を効果的に統合し、リアルなレンダリングを実現できることを示している。