[論文レビュー] LIME: Live Intrinsic Material Estimation

Abhimitra Meka, Maxim Maximov+5 more|arXiv (Cornell University)|Jan 3, 2018

Advanced Vision and Imaging参考文献 2被引用数 15

ひとこと要約

LIMEは、単一のモノクロムカラー画像から、拡散アルベド、鏡面アルベド、光沢度、および前面領域分離をリアルタイムでエンドツーエンドで推定する最初の手法を提示する。これは、知覚的レンダリング損失による画像空間における監視を備えた深層エンコーダ–デコーダネットワークを活用しており、リアルタイムフレームレートで仮想素材のクローン作成や照明に整合したAR統合といったライブミックスドリアリティアプリケーションを可能にする。

ABSTRACT

We present the first end to end approach for real time material estimation for general object shapes with uniform material that only requires a single color image as input. In addition to Lambertian surface properties, our approach fully automatically computes the specular albedo, material shininess, and a foreground segmentation. We tackle this challenging and ill posed inverse rendering problem using recent advances in image to image translation techniques based on deep convolutional encoder decoder architectures. The underlying core representations of our approach are specular shading, diffuse shading and mirror images, which allow to learn the effective and accurate separation of diffuse and specular albedo. In addition, we propose a novel highly efficient perceptual rendering loss that mimics real world image formation and obtains intermediate results even during run time. The estimation of material parameters at real time frame rates enables exciting mixed reality applications, such as seamless illumination consistent integration of virtual objects into real world scenes, and virtual material cloning. We demonstrate our approach in a live setup, compare it to the state of the art, and demonstrate its effectiveness through quantitative and qualitative evaluation.

研究の動機と目的

• 手動によるセグメンテーションを必要とせず、一般の物体形状を対象としたリアルタイムでモノクロムの材料推定を可能にすること。
• 拡散および鏡面アルベド、光沢度、セグメンテーションを含む完全な材料特性を、1枚のRGB画像から同時に推定すること。
• 逆レンダリングの不適切な定式化を克服するため、微分可能で知覚的に根拠のあるレンダリング損失を用いること。
• 仮想素材のクローン作成や照明に整合したAR統合といったライブミックスドリアリティアプリケーションを支援すること。
• 知覚的に分類された光沢度のボックスを用いて、非常に光沢のある材料にバイアスがかかるのを避けるために、合成データで学習すること。

提案手法

• 拡散シェーディング、鏡面シェーディング、ミラー画像を予測するため、深層エンコーダ–デコーダU-Netアーキテクチャを用いる。
• 現実の画像形成を模倣する新しい知覚的レンダリング損失を採用し、推論中に中間監視を可能にする。
• 表面法線の必要性を回避するため、内在的レイヤーにおける画像空間における監視によって、材料推定と形状推定を分離する。
• 回帰ではなく、8つの知覚的に意味のあるボックスに分類することで、光沢度の推定をより正確に実現する。
• 予測された内在的レイヤーにおける知覚的レンダリング損失を用いて、自己教師付きで材料パラメータの回帰を実行する。
• 深度が利用可能な場合、低周波数および高周波数の照明を抽出でき、屋内および屋外の照明条件に対応する。

実験結果

リサーチクエスチョン

• RQ1 任意の物体形状に対して、単一のモノクロムRGB画像からリアルタイムで内在的材料特性を推定できるか？
• RQ2 形状の明示的監視がなくても、深層学習モデルが拡散および鏡面アルベドを正確に分離できるか？
• RQ3 知覚的に動機付けられたレンダリング損失は、内在的分解および材料推定の品質を向上させるか？
• RQ4 実世界の材料推定タスクにおいて、分類が回帰を上回る性能を示せるか？
• RQ5 この手法は、仮想素材のクローン作成のようなライブでシームレスなミックスドリアリティアプリケーションを可能にするか？

主な発見

• 本手法は、ビデオフレームレートでリアルタイムのパフォーマンスを達成し、素材のクローン作成やAR統合といったライブアプリケーションを可能にする。
• 8つの知覚的に分類されたボックスに分類することで、光沢度の推定が回帰を上回り、過剰推定を回避する。
• 提案された知覚的レンダリング損失により、現実の画像形成を模倣することで、より正確で現実的な材料推定が可能になる。
• 従来の手法が屋外の照明に焦点を当てていたのに対し、本手法は複雑な屋内の照明条件に対しても効果的に対応できる。
• 本手法は任意の物体形状に一般化可能であり、手動によるセグメンテーションや形状の事前知識を必要としない。
• 定量的評価では、内在的分解および材料推定の指標において、最先端の手法を上回る優れたパフォーマンスを示す。