[논문 리뷰] HDRFusion: HDR SLAM using a low-cost auto-exposure RGB-D sensor

Shuda Li, Ankur Handa외 2명|arXiv (Cornell University)|2016. 04. 04.

Advanced Vision and Imaging참고 문헌 21인용 수 4

한 줄 요약

HDRFusion는 저비용 자동 노출 RGB-D 카메라를 사용하여 실시간 프레임-모델 SLAM 시스템을 제안하며, 노출 보정을 추적에서 분리하기 위해 정규화된 라디언스를 추적함으로써 노출 변화에 영향을 받지 않는 추적을 가능하게 하여 정확한 운동 추정과 고역동범위(HDR) 텍스처 복원을 실현한다. 이 방법은 번개치는 조명 조건에서도 정확하고 드리프트가 최소화된 추적을 달성하며, 고성능 SLR 카메라로 촬영한 참값에 매우 가까운 HDR 지ap을 생성한다.

ABSTRACT

We describe a new method for comparing frame appearance in a frame-to-model 3-D mapping and tracking system using an low dynamic range (LDR) RGB-D camera which is robust to brightness changes caused by auto exposure. It is based on a normalised radiance measure which is invariant to exposure changes and not only robustifies the tracking under changing lighting conditions, but also enables the following exposure compensation perform accurately to allow online building of high dynamic range (HDR) maps. The latter facilitates the frame-to-model tracking to minimise drift as well as better capturing light variation within the scene. Results from experiments with synthetic and real data demonstrate that the method provides both improved tracking and maps with far greater dynamic range of luminosity.

연구 동기 및 목표

• 자동 노출(AE)로 인한 밝기 변동으로 인해 RGB-D SLAM에서 프레임-모델 추적의 안정성이 떨어지는 문제를 해결하기 위해.
• 자동 노출 조건에서 촬영한 LDR 프레임으로부터 정확하고 실시간으로 HDR 텍스처 복원을 가능하게 하기 위해.
• 외관 측도로 정규화된 라디언스를 사용하여 노출 보정을 추적에서 분리하기 위해.
• 자동 노출 변화 시에도 밝기 일관성을 유지함으로써 3D 맵핑의 드리프트를 줄이기 위해.
• 실세계의 밝기 수준을 정확히 반영하는 고정밀 HDR 시나리오 텍스처를 생성하기 위해.

제안 방법

• 시스템은 노출 변화에 영향을 받지 않는 정규화된 라디언스를 사용하여 카메라 자세를 추적한다. 이는 RGB 프레임에서 계산된다.
• 정규화된 라디언스는 다운샘플링된 인te그랄 이미지를 효율적으로 활용하여 계산되며, 실시간 성능을 보장한다.
• 노출 보정은 추적에서 분리되어 센서 노이즈에서 유도된 신뢰도 맵을 기반으로 독립적으로 수행된다.
• 라디언스 융합은 노출 보정과 신뢰도 가중 평균을 사용하여 다수의 LDR 프레임을 하나의 HDR 지도로 융합한다.
• 프레임-모델 추적을 통해 정규화된 라디언스의 전역 밝기 일관성을 활용함으로써 드리프트를 최소화한다.
• 센서 노이즈 수준을 기반으로 한 신뢰도 맵은 라디언스 융합 과정에서 픽셀 기여도를 적응적으로 가중하여 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 정규화된 라디언스 추적은 자동 노출에 의한 밝기 변동이 발생하는 상황에서도 프레임-모델 SLAM에서 강건성을 유지할 수 있는가?
• RQ2 프레임 융합을 통해 저비용 자동 노출 RGB-D 센서에서 획득한 LDR 프레임으로부터 HDR 텍스처 지도를 얼마나 정확하게 복원할 수 있는가?
• RQ3 노출 보정을 추적에서 분리함으로써 추적 정확도와 HDR 복원 품질이 향상되는가?
• RQ4 기존의 프레임-프레임 또는 ICP 기반 방법과 비교했을 때, 정규화된 라디언스 추적은 얼마나 드리프트를 줄이는가?
• RQ5 복원된 HDR 텍스처는 고성능 SLR 카메라로 촬영한 참값의 밝기 수준과 얼마나 유사한가?

주요 결과

• 제안된 정규화된 라디언스 추적 방법은 시뮬레이션된 번개치는 시퀀스에서 가장 낮은 회전 및 이동 오차를 기록하였으며, 원본 RGB, NCC 및 기준 프레임-모델 추적 방법을 모두 능가했다.
• 실세계의 번개치는 시퀀스에서는 [3]이 완전히 추적에 실패한 반면, 본 방법은 빠른 노출 변화에도 불구하고 성공적으로 추적을 유지하여 빠른 노출 변화에 대한 강건성을 입증했다.
• HDRFusion가 복원한 HDR 라디언스 지도는 캐논 5D 마크 II로 촬영한 참값 HDR 이미지와 시각적 및 정량적 비교를 통해 매우 유사한 결과를 보였다.
• 어두운 영역—예를 들어 책상 아래나 그림자 있는 角진 곳—의 미세한 세부 정보를 잘 유지하여 기존의 LDR 융합보다 훨씬 높은 동적 범위를 확보했다.
• 부드러운 노출 변화 시퀀스에서 1,000 프레임 동안 정규화된 라디언스를 사용한 프레임-모델 추적은 이동 드리프트가 3cm 미만이었다.
• Mantiuk 톤 맵핑 연산자를 사용한 시각화 결과, HDRFusion는 모자이크 아티팩트 없이 시각적으로 정확하고 고역동범위의 텍스처를 생성함을 확인했다.