[論文レビュー] Towards Building an RGBD-M Scanner

Zhe Wu, Sai-Kit Yeung+1 more|arXiv (Cornell University)|Mar 12, 2016

3D Surveying and Cultural Heritage参考文献 17被引用数 4

ひとこと要約

本稿では、改造されたKinect、赤外線カメラ、赤外線LEDを用いて、3次元シーンの幾何学的形状と反射特性を同時に捉える、ポータブルで使いやすいRGBD-Mスキャナを提案する。KinectFusionを用いた再構成と、散らかったノイズの多いBRDF観測をグループ化する新規のBRDFセグメンテーション伝搬アルゴリズムを統合することで、大規模な屋内シーンにおける正確な材料の反射特性推定が可能となり、実世界のシーンにおけるリアルなライティング再現とハイライト再現が実証された。

ABSTRACT

We present a portable device to capture both shape and reflectance of an indoor scene. Consisting of a Kinect, an IR camera and several IR LEDs, our device allows the user to acquire data in a similar way as he/she scans with a single Kinect. Scene geometry is reconstructed by KinectFusion. To estimate reflectance from incomplete and noisy observations, 3D vertices of the same material are identified by our material segmentation propagation algorithm. Then BRDF observations at these vertices are merged into a more complete and accurate BRDF for the material. Effectiveness of our device is demonstrated by quality results on real-world scenes.

研究の動機と目的

• 制御された環境を必要とせず、小型で移動可能な物体に限定された既存のシステムの限界を克服し、大規模な屋内シーンの3次元幾何学的形状と反射特性を、ポータブルで使いやすいデバイスで捉えること。
• 制御されていない実世界の環境で得られる散らかったノイズの多い不完全なBRDF観測から、完全で正確なBRDFを推定する課題に対処すること。
• 観測データが破損または不完全であっても、3次元頂点のBRDF観測のみに依存して自動的に材料セグメンテーションを実行できること。
• 複雑な屋内シーンのリアルタイムでユーザーが駆動する外観捉えを可能とし、写真のようにリアルなレンダリング能力を示すこと。

提案手法

• 本システムは、カスタム回路により同期化された、改造されたKinect（ASUS Xtion Pro Live）に加え、赤外線カメラと多数の赤外線LEDを組み合わせ、アクティブな赤外線照明を可能にしている。
• 3次元シーンの幾何学的形状は、深度画像からKinectFusionを用いてリアルタイムに再構成され、同時に赤外線照明下での赤外線画像の投影により、各頂点の色および反射特性が推定される。
• 空間的近接性とBRDFの類似性を活用することで、散らかったノイズの多い観測であっても、同じ材料に属する3次元頂点をグループ化するBRDFセグメンテーション伝搬アルゴリズムが採用されている。
• グループ化された頂点からのBRDF観測は、反射率の対称性に基づいて導かれた2変数BRDFモデルを用いて統合され、1つの材料ごとにより完全で正確なBRDFが得られる。
• 分類されていない頂点は、レンダリングの視覚的整合性を保つためにラムベール型BRDFモデルに割り当てられる。
• 全パイプラインはオフライン処理を想定しているが、今後の研究ではスキャン中にユーザーを支援するリアルタイムフィードバックの実現を目指している。

実験結果

リサーチクエスチョン

• RQ1 制御された環境を必要とせず、小型で移動可能な物体に限定されない、低コストのポータブルデバイスが、大規模な屋内シーンの3次元幾何学的形状と反射特性を捉えることは可能か？
• RQ2 制御されていない実世界の環境で得られる散らかったノイズの多い不完全な観測から、BRDFを正確に推定する方法は何か？
• RQ3 観測データが破損または不完全であっても、3次元頂点のBRDF観測のみに依存して、材料セグメンテーションアルゴリズムが効果的に頂点をグループ化できるか？
• RQ4 提案されたシステムは、スペキュラーなハイライトのようなリアルなライティング効果を、リライティングシミュレーションでどの程度再現できるか？

主な発見

• KinectFusionを用いた3次元シーンの再構成は、データ収集中にリアルタイム性能を達成し、正確な幾何学的形状が得られた。
• BRDFセグメンテーション伝搬アルゴリズムは、'Gymball'シーンにおいて3次元頂点を6つの材料グループに効果的にグループ化した。そのうち3つの主要なグループは、ゴム、壁、板といった支配的材料に対応していた。
• システムは、ギンバルと茶色のプラスチックのポットにスペキュラーなハイライトを捉え、方向性のある照明下での反射特性推定に成功した。
• スパイダーマンのシーンでは13の材料グループが特定され、そのうち8つの主要なグループは、パンプキン、スパイダーマンの赤と青の領域、および補強構造物に対応していた。
• 青いプラスチックのポットにハイライトを捉えられなかったのは、頂点のサンプリング密度が不足していたためであり、これは散らかった観測を扱う際の限界を示している。
• 部分的なBRDFデータしか得られなかった場合、BRDFレンダリングに円形の歪みが生じる再構成アーチファクトが発生した。これは、より良い補間戦略の必要性を示唆している。