[論文レビュー] HDRFusion: HDR SLAM using a low-cost auto-exposure RGB-D sensor

Shuda Li, Ankur Handa+2 more|arXiv (Cornell University)|Apr 4, 2016

Advanced Vision and Imaging参考文献 21被引用数 4

ひとこと要約

HDRFusionは、露出補正とトラッキングを分離することで、明るさの変動に強く、リアルタイムで高動的範囲（HDR）テクスチャ再構築を可能にする、低価格のオート露出RGB-Dカメラを用いたフレーム・ツー・モデルSLAMシステムを提案する。本手法は、露出補正を分離することで、安定したモーション推定と高精度なHDRテクスチャ再構築を実現し、ちらつきのある照明下でも正確でドリフトが最小限のトラッキングを達成する。また、高級一眼レフカメラで得られた真値に近いHDRマップを生成する。

ABSTRACT

We describe a new method for comparing frame appearance in a frame-to-model 3-D mapping and tracking system using an low dynamic range (LDR) RGB-D camera which is robust to brightness changes caused by auto exposure. It is based on a normalised radiance measure which is invariant to exposure changes and not only robustifies the tracking under changing lighting conditions, but also enables the following exposure compensation perform accurately to allow online building of high dynamic range (HDR) maps. The latter facilitates the frame-to-model tracking to minimise drift as well as better capturing light variation within the scene. Results from experiments with synthetic and real data demonstrate that the method provides both improved tracking and maps with far greater dynamic range of luminosity.

研究の動機と目的

• オート露出（AE）による明るさの変動が生じる状況下で、フレーム・ツー・モデルトラッキングの不安定性を解消すること。
• AE下で撮影されたLDRフレームから、リアルタイムで高精度なHDRテクスチャ再構築を可能にすること。
• 外観指標としてノーマライズドレディアンスを用いることで、露出補正とトラッキングを分離すること。
• AE変化下でも明るさの一貫性を維持することで、3Dマッピングにおけるドリフトを低減すること。
• 現実世界の明るさに近い高精細なHDRシーンテクスチャを生成すること、特に極端な照明変化下でも有効であること。

提案手法

• 本システムは、露出変化に対して不変なノーマライズドレディアンスを用いてカメラポーズをトラッキングする。このノーマライズドレディアンスはRGBフレームから計算される。
• ダウンサンプリングされたインテグラル画像を用いることで、ノーマライズドレディアンスを効率的に計算し、リアルタイム性能を実現する。
• 露出補正はトラッキングから分離され、センサのノイズに基づく信頼性マップから導出される。
• レディアンス統合は、露出補正と信頼性重み付き平均を用いて、複数のLDRフレームを1つのHDRマップに統合する。
• フレーム・ツー・モデルトラッキングを用いることで、ノーマライズドレディアンスのグローバルな明るさの一貫性を活用し、ドリフトを最小限に抑える。
• センサのノイズレベルに基づく信頼性マップが、レディアンス統合における画素の寄与度を適応的に重み付けし、耐障害性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ノーマライズドレディアンストラッキングは、オート露出に起因する明るさの変動下でも、フレーム・ツー・モデルSLAMにおいて耐障害性を維持できるか？
• RQ2 フレーム統合を用いることで、低価格のオート露出RGB-Dセンサから、どの程度の精度でHDRテクスチャマップを再構築できるか？
• RQ3 露出補正とトラッキングを分離することで、トラッキング精度とHDR再構築品質が向上するか？
• RQ4 従来のフレーム・ツー・フレームまたはICPベースの手法と比較して、ノーマライズドレディアンストラッキングはドリフトをどの程度低減できるか？
• RQ5 再構築されたHDRテクスチャは、高級一眼レフカメラで撮影された真値の明るさ値とどの程度一致するか？

主な発見

• 提案手法であるノーマライズドレディアンストラッキングは、合成されたちらつきのあるシーケンスにおいて、回転誤差と並進誤差が最小であり、RGB、NCC、ベースラインのフレーム・ツー・モデルトラッキングを上回った。
• 実世界のちらつきのあるシーケンスにおいて、本手法は[3]が完全にトラッキングを失敗した状況でも正常にトラッキングを維持した。これは、急速な露出変化に対しても耐障害性があることを示している。
• HDRFusionが再構築したHDRレディアンスマップは、Canon 5D Mark IIで撮影された真値のHDR画像と、視覚的および定量的比較で近似しており、高精度であることが確認された。
• 本システムは、机の下や影の入る隅など、暗い領域の微細なディテールを保持しており、標準的なLDR統合と比較して顕著に高い動的範囲を示した。
• 滑らかなAEシーケンスにおいて、ノーマライズドレディアンスを用いたフレーム・ツー・モデルトラッキングは、1,000フレームの間で3 cm未満の並進ドリフトに抑えた。
• Mantiukトーンマッピング演算子を用いた可視化により、HDRFusionがモザイクアーチファクトのない、知覚的に正確な高動的範囲テクスチャを生成することが確認された。