[論文レビュー] DeLTra: Deep Light Transport for Projector-Camera Systems

Bingyao Huang, Haibin Ling|arXiv (Cornell University)|Mar 6, 2020

Advanced Vision and Imaging参考文献 49被引用数 4

ひとこと要約

DeLTra は、放射能補正なしのプロジェクタ・カメラ光輸送をエンド・トゥ・エンドで学習可能なディープラーニングフレームワークであり、レイ/深度/法線推定のための DepthToAttribute モジュールと、フォトリアリスティックレンダリングのための CNN ベースの ShadingNet を組み合わせている。エピポーラ制約に基づく微分可能直接光マスクを導入し、遮蔽を処理することで、画像ベースの再ライティング、プロジェクタ補正、深度/法線再構築への統合的応用を可能にし、最先端の性能を達成している。

ABSTRACT

In projector-camera systems, light transport models the propagation from projector emitted radiance to camera-captured irradiance. In this paper, we propose the first end-to-end trainable solution named Deep Light Transport (DeLTra) that estimates radiometrically uncalibrated projector-camera light transport. DeLTra is designed to have two modules: DepthToAtrribute and ShadingNet. DepthToAtrribute explicitly learns rays, depth and normal, and then estimates rough Phong illuminations. Afterwards, the CNN-based ShadingNet renders photorealistic camera-captured image using estimated shading attributes and rough Phong illuminations. A particular challenge addressed by DeLTra is occlusion, for which we exploit epipolar constraint and propose a novel differentiable direct light mask. Thus, it can be learned end-to-end along with the other DeLTra modules. Once trained, DeLTra can be applied simultaneously to three projector-camera tasks: image-based relighting, projector compensation and depth/normal reconstruction. In our experiments, DeLTra shows clear advantages over previous arts with promising quality and meanwhile being practically convenient.

研究の動機と目的

• 放射能補正なしのプロジェクタ・カメラシステムにおける光輸送の課題に取り組むこと。ここでは、キャリブレーションが非現実的または誤差を含みやすい。
• 明示的な3次元幾何を用いないで、光輸送推定における遮蔽をモデル化する困難さを克服すること。
• 深度、法線、照明属性を同時に最適化するエンド・トゥ・エンドで学習可能なフレームワークを開発し、正確な画像合成を実現すること。
• モデルの統合的応用を実現し、3つの主要なプロジェクタ・カメラタスクに適用可能であること：画像ベースの再ライティング、プロジェクタ補正、深度/法線再構築。

提案手法

• 入力の深度画像からレイ、深度、表面法線を明示的に推定する DepthToAttribute モジュールを提案し、粗いフォン照明モデルを生成する。
• エピポーラ幾何に基づく微分可能直接光マスクを導入し、遮蔽をモデル化することで、遮蔽境界を含めたエンド・トゥ・エンドのバックプロパゲーションを可能にする。
• 推定された照明属性と粗いフォン照明を統合する CNN ベースの ShadingNet を設計し、フォトリアリスティックなカメラキャプチャ画像をレンダリングする。
• 微分可能レンダリング損失を用いて、深度、法線、照明パラメータを同時に最適化するエンド・トゥ・エンドの学習を実施する。
• エピポーラ制約を活用し、光の可視性推定における幾何的整合性を強制することで、遮蔽に対する耐性を向上させる。
• マルチタスク学習の目的関数を用い、トレーニング中に再ライティング、補正、再構築タスクを同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 放射能補正を必要としないエンド・トゥ・エンドで微分可能なフレームワークは、キャリブレーションなしのプロジェクタ・カメラ光輸送を効果的にモデル化できるか？
• RQ2 学習された光輸送モデルは、現実のプロジェクタ・カメラシステムにおける遮蔽をどの程度適切に処理できるか？
• RQ3 1つの統合モデルが、同時に画像ベースの再ライティング、プロジェクタ補正、深度/法線再構築をどの程度効果的に行えるか？
• RQ4 エピポーラ制約に基づく微分可能直接光マスクは、従来の手法と比較して遮蔽モデル化をどの程度改善するか？

主な発見

• DeLTra は、放射能補正なしの状態でも、画像ベースの再ライティングにおいて最先端の性能を達成し、フォトリアリスティックな結果を生成する。
• 微分可能直接光マスクは、遮蔽処理を著しく改善し、より正確な光輸送推定を可能にする。
• 従来の手法と比較して、視覚的アーチファクトが少ない、実用的なプロジェクタ補正を実現する。
• DeLTra は、高い忠実度で深度と表面法線を再構築でき、マルチタスク能力を示している。
• エンド・トゥ・エンドのトレーニング方式により、すべてのコンponentsの共同最適化が可能となり、一般化性能と耐性が向上する。
• フレームワークは実用的で、再トレーニングやキャリブレーションなしに、複数のプロジェクタ・カメラアプリケーションに容易に展開可能である。