[論文レビュー] OpenIllumination: A Multi-Illumination Dataset for Inverse Rendering Evaluation on Real Objects

Isabella Liu, Linghao Chen+9 more|arXiv (Cornell University)|Sep 14, 2023

Advanced Vision and Imaging被引用数 5

ひとこと要約

本稿では、球状ライトステージを用い、142本のキャリブレート済みLEDライトで14種類の異なる照明条件のもと、64体の実物の物体を捉えたマルチイルミネーションデータセットOpenIlluminationを紹介する。このデータセットは、真の照明とマスクを提供することで、逆レンダリング手法の定量的評価を可能にし、TensoIRを用いたリライト性能が、特定の素材でPSNR最大46.66に達するなど、最先端の性能を達成している。また、オクルージョンやカメラの一貫性といった課題に対して、専用のデータ収集およびキャリブレーション技術を用いることで対処している。

ABSTRACT

We introduce OpenIllumination, a real-world dataset containing over 108K images of 64 objects with diverse materials, captured under 72 camera views and a large number of different illuminations. For each image in the dataset, we provide accurate camera parameters, illumination ground truth, and foreground segmentation masks. Our dataset enables the quantitative evaluation of most inverse rendering and material decomposition methods for real objects. We examine several state-of-the-art inverse rendering methods on our dataset and compare their performances. The dataset and code can be found on the project page: https://oppo-us-research.github.io/OpenIllumination.

研究の動機と目的

• 実物の物体に対して逆レンダリング手法を評価するための、現実世界のマルチイルミネーションデータセットが不足しているという問題に対処すること。
• 撮影時に支持構造によるオクルージョンが原因で生じるニューラル密度フィールドの曖昧さを低減すること。
• 複数のカメラおよび照明パターン間で一貫した色と照明キャリブレーションを確保すること。
• 真の照明と物体マスクを用いた定量的かつ再現可能なリライト性能の評価を可能にすること。
• 最先端の逆レンダリング手法を実世界の素材上で比較するための標準化されたベンチマークを提供すること。

提案手法

• 2メートルの球状ライトステージを用い、142本のLEDライトと同期されたマルチビューのカメラを用いて64体の実物の物体を撮影した。
• オクルージョンによる密度の曖昧さを解消するために、トレーニング時に物体および支持構造を含む組み合わせマスク（com_mask）を用いた。
• 正確なライトキャリブレーションパラメータ（半径および中心）を回復するために、黒で塗りつぶされた前面と球体フィッティングを施したクロムミラー・ボールを用いた。
• NeuSを用いてミラー・ボールを再構築し、キャリブレートされた幾何形状を抽出することで、正確なライト方向の計算を実現した。
• すべてのカメラで一貫したカメラ設定（ISO 100、F16、1/5秒シャッタースピード、日差しホワイトバランス）を設定し、内部的な色のばらつきを最小限に抑えた。
• 3Dプリントされた緑色のシリンダーと偏光フィルターを用いたカメラ一貫性実験により、カメラ間の色差が1%未満であることを確認した。

Figure 1: (a) Two types of supporting devices used in our dataset. (b) We use the combined masks for training to eliminate density ambiguity.

実験結果

リサーチクエスチョン

• RQ1 トレーニングマスクに支持構造を含めることで、逆レンダリングにおける密度フィールドネットワークの性能にどのような影響を与えるか？
• RQ2 マルチイルミネーション逆レンダリング手法は、実世界の物体に対して、新しい照明条件にどの程度一般化できるか？
• RQ3 同じカメラ設定下で同じカメラ間の色応答はどの程度一貫しており、信頼性のある評価に利用できるか？
• RQ4 表面の反射特性（例：拡散反射対鏡面反射）が、実世界の逆レンダリングにおけるリライト品質に与える影響は何か？
• RQ5 真の照明とマスクを備えた標準化された、公開可能なデータセットは、逆レンダリング手法の公平かつ再現可能なベンチマークを可能にするか？

主な発見

• TensoIRは、織物素材の物体で平均PSNR 28.00、蝋素材の物体で43.36を達成し、高反射性素材において優れた性能を示した。
• 拡散反射面（例：紙、織物）の物体は、鏡面反射面（例：髪の毛、物体52）よりも高いリライトPSNR（例：物体60で36.66）を達成した。
• カメラ一貫性実験では、隣接するカメラ間で約1%の色差にとどまり、後処理なしで最小限の内部ばらつきが確認された。
• トレーニングマスクに支持構造を含めることで、密度の曖昧さが顕著に低減され、再構築の安定性が向上した。
• 真の照明を備えたデータセットにより、64種類の多様な素材で一貫したPSNR結果が得られ、信頼できるリライト評価が可能であることが実証された。
• 最高のリライトPSNR 46.66は、蝋素材の物体（ID 34）で達成され、複雑なBRDFを有する素材において優れた性能を示した。

Figure 2: 13 kinds of light patterns in our dataset, shown as an environment map.