[論文レビュー] DeepLight: Learning Illumination for Unconstrained Mobile Mixed Reality

Chloe LeGendre, Wan‐Chun Ma+5 more|arXiv (Cornell University)|Apr 2, 2019

Advanced Vision and Imaging参考文献 57被引用数 4

ひとこと要約

DeepLightは、1枚の低ダイナミックレンジ（LDR）モバイル端末画像から、高ダイナミックレンジ（HDR）で球面にわたるライティングを推定する深層学習手法を提案する。異なる素材の3つの反射球を用いてライティングの手がかりを明らかにし、20万枚のLDR動画を用いて訓練されたモデルは、微分可能画像ベースのライティングと adversarial loss を用いてHDRライティングに回帰し、モバイルデバイス上でリアルタイムの推論を実現。屋内・屋外の両シーンにおいて、先行手法を上回るリアリズムを達成する。

ABSTRACT

We present a learning-based method to infer plausible high dynamic range (HDR), omnidirectional illumination given an unconstrained, low dynamic range (LDR) image from a mobile phone camera with a limited field of view (FOV). For training data, we collect videos of various reflective spheres placed within the camera's FOV, leaving most of the background unoccluded, leveraging that materials with diverse reflectance functions reveal different lighting cues in a single exposure. We train a deep neural network to regress from the LDR background image to HDR lighting by matching the LDR ground truth sphere images to those rendered with the predicted illumination using image-based relighting, which is differentiable. Our inference runs at interactive frame rates on a mobile device, enabling realistic rendering of virtual objects into real scenes for mobile mixed reality. Training on automatically exposed and white-balanced videos, we improve the realism of rendered objects compared to the state-of-the art methods for both indoor and outdoor scenes.

研究の動機と目的

• 制限された視野を持つ、一括された低ダイナミックレンジ（LDR）モバイル端末画像から、妥当で球面にわたるHDR照明を推定する課題に対処すること。
• 屋内および屋外の両シーンにおける、公開可能なペaired LDRおよびHDRのトレーニングデータの不足を克服すること。
• モバイルデバイス上でリアルタイムで高精度なライティング推定を可能にし、現実的なかつてのミックスドリアリティ合成を実現すること。
• 推論時にHDRパノラマやシーン固有のキャリブレーションを必要とせずに、多様な照明条件に一般化できること。

提案手法

• モバイルカメラの視野内に配置された3つの反射球（鏡面、拡散グレー、金属）の動画を用いてトレーニングデータを収集し、1枚の露光で多様なライティングの手がかりを捉える。
• トレーニング中に予測されたライティング下での正確なレンダリングを可能にするために、各球の反射関数を測定する。
• LDR背景画像（球領域を除く）からHDRライティング推定値に回帰する畳み込みニューラルネットワーク（CNN）を訓練する。
• 微分可能画像ベースのライティングを用いて、予測されたライティングで球をレンダリングし、レンダリング画像と真値の球画像との間のL2損失を最小化する。
• 高周波数のライティング回復を改善し、知覚的なリアリズムを向上させるために、 adversarial loss を組み込む。
• トレーニング中に隣接する動画フレームの時間的整合性を活用し、時間的安定性を暗黙的に正則化することで、モバイルCPU上でリアルタイムの推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 1枚のLDRモバイル画像に埋め込まれた反射球から、多様な屋内および屋外環境において、正確なHDRライティング推定に十分な手がかりを提供できるか？
• RQ2 シーン固有のデータやHDRパノラマを必要とせずに、深層学習モデルが屋内および屋外の両シーンに一般化できるか？
• RQ3 微分可能画像ベースのライティングと adversarial 学習が、従来の教師あり手法と比較して、推定されたライティングのリアリズムをどの程度向上できるか？
• RQ4 モデルは、高品質な知覚的品質を維持しながら、モバイルハードウェア上でリアルタイムの推論を達成できるか？
• RQ5 露出補正やホワイトバランスが自動で行われるなど、さまざまなカメラ設定下でも、明示的なキャリブレーションなしに、この手法はどの程度の性能を示すか？

主な発見

• RGB相対放射率の精度を450サンプルのサブセットで測定したところ、屋内および屋外の両シーンにおいて、照明推定の分野で最先端のパフォーマンスを達成した。
• 別々のトレーニングやドメイン適応を必要とせず、屋内および屋外の環境に一般化した。
• モバイルCPU上で12〜20fpsで推論が実行され、消費者向けスマートフォンでもリアルタイムのミックスドリアリティアプリケーションが可能になった。
• 異なる素材の反射球を用いることで、1枚の露光から高周波数（例：スペキュラー・ハイライト）および低周波数（例：環境光）の両方のライティング手がかりをネットワークが捉えることができた。
• adversarial loss の導入により、微細なライティングディテールの回復が向上し、ベースライン手法と比較してより現実的な仮想オブジェクトのレンダリングが実現した。
• 定性的な結果から、レンダリングされた仮想オブジェクトが、同じシーン内の実際の3Dプリント済みおよびペイント済みオブジェクトと密接に一致しており、知覚的なリアリズムの向上が確認された。