[논문 리뷰] Coupling of localization and depth data for mapping using Intel RealSense T265 and D435i cameras

Evgeny Tsykunov, Valery Ilin외 3명|arXiv (Cornell University)|2020. 04. 01.

Robotics and Sensor-Based Localization참고 문헌 5인용 수 11

한 줄 요약

이 논문은 저비용의 실시간 3D 점유 맵핑 시스템을 제안한다. Intel RealSense T265(위치 추정용)와 D435i(깊이 측정용) 카메라의 융합된 데이터를 사용한다. 200 Hz의 자세 데이터와 30 Hz의 깊이 프레임을 다중 스레드 옵저버 패턴을 통해 동기화하고, T265에서 유도된 초기 변환을 사용하여 ICP(점 대 점 및 점 대 평면)를 통해 점군을 정렬하며, 옥타맵 표현을 구축함으로써 지도의 진실성 없이도 정확하고 글로벌하게 일관된 3D 맵을 생성한다.

ABSTRACT

We propose to couple two types of Intel RealSense sensors (tracking T265 and depth D435i) in order to obtain localization and 3D occupancy map of the indoor environment. We implemented a python-based observer pattern with multi-threaded approach for camera data synchronization. We compared different point cloud (PC) alignment methods (using transformations obtained from tracking camera and from ICP family methods). Tracking camera and PC alignment allow us to generate a set of transformations between frames. Based on these transformations we obtained different trajectories and provided their analysis. Finally, having poses for all frames, we combined depth data. Firstly we obtained a joint PC representing the whole scene. Then we used Octomap representation to build a map.

연구 동기 및 목표

• 저비용의 Intel RealSense 센서를 사용하여 실시간으로 실내 환경에서 3D 점유 맵핑을 가능하게 한다.
• 두 개의 서로 다른 센서에서 유도된 이질적이고 고주기 자세 데이터(200 Hz)와 저주기 깊이 데이터(30 Hz)를 융합하는 과제를 해결한다.
• T265 추적 카메라에서 유도된 상대 변환을 사용하여 깊이 점군을 정렬함으로써 글로벌하게 일관된 3D 점군 및 점유 맵을 생성한다.
• 궤적 추정 및 맵 정확도를 위해 ICP 기반 점군 정렬 방법(점 대 점 및 점 대 평면)을 평가하고 비교한다.
• ROS 의존성을 피하고 Open3D, Octomap, Python 기반 라이브러리를 사용하여 크로스 플랫폼 배포를 지원하는 시스템을 구현한다.

제안 방법

• 타임스탬프 기반 매칭을 통해 200 Hz의 T265 자세 데이터와 30 Hz의 D435i 깊이 프레임을 동기화하는 다중 스레드 기반 파이썬 옵저버 패턴을 구현했다.
• 고정된 오프셋이 알려진 강체로 고정된 센서 유닛을 사용하여 T265와 D435i 사이의 상호 카메라 변환 ${}^{T}T_{D}$ 를 계산했다.
• T265의 추정 자세 ${}^{W}T_{T}$ 를 사용하여 D435i의 월드 자세 ${}^{W}T_{D} = {}^{W}T_{T} imes {}^{T}T_{D}$ 를 계산함으로써 깊이 점군을 공통 월드 프레임으로 변환할 수 있도록 했다.
• T265에서 유도된 변환을 초기화로 사용하여 점 대 점 및 점 대 평면 방법을 모두 적용한 ICP 기반 점군 정렬을 수행했으며, 수렴성과 정확도를 향상시켰다.
• 변환 행렬 ${}^{D1}T_{D2}$ 를 사용하여 정렬된 점군을 반복적으로 융합함으로써 Open3D를 통해 글로벌 점군 표현을 구축했다.
• Octomap을 사용하여 3D 점유 맵을 구성했으며, ROS 의존성을 피하기 위해 pyglet을 사용하여 벡셀 기반의 색상 매핑 렌더링을 시각화했다.

실험 결과

연구 질문

• RQ1 T265의 200 Hz 시각-자기 추적 데이터와 D435i의 30 Hz 깊이 데이터를 얼마나 효과적으로 동기화하여 일관된 3D 맵핑을 구현할 수 있는가?
• RQ2 T265 자세 데이터로 초기화된 경우, 점 대 점 또는 점 대 평면 ICP 유형 중 어느 것이 더 정확하고 안정적인 궤적 추정을 제공하는가?
• RQ3 실시간 성능와 맵 정확도를 고려할 때, ICP 파rameter(예: 최대 대응 거리, 샘플링 레이트)의 최적 조합은 무엇인가?
• RQ4 SLAM 루프 클로징 없이도 진실된 지도 없이 글로벌하게 일관된 3D 점군 및 점유 맵을 신뢰성 있게 재구성할 수 있는가?
• RQ5 깊이 점군의 샘플링 감소가 최종 맵 품질과 계산 효율성에 어떤 영향을 미치는가?

주요 결과

• ICP 점 대 점 방법은 T265 추적 궤적 대비 x축에서 상대적 편차가 더 낮은 궤적을 생성하여 보다 우수한 정렬 안정성을 보였다.
• 최대 대응 거리 0.05 미터로 설정하고 T265 초기화를 적용한 ICP는 정확도와 계산 효율성 사이의 최적 균형을 이룩했다.
• 샘플링 계수 4를 적용한 샘플링 필터를 사용함으로써 실행 시간을 감소시켰지만 맵 품질이나 궤적 정확도에 유의미한 영향을 주지 않았다.
• Open3D와 T265 기반 변환을 사용하여 재구성된 최종 글로벌 점군은 실제 환경의 기하학적 구조를 정확하게 반영했다.
• Octomap는 융합된 데이터로부터 안정적인 3D 점유 맵을 성공적으로 생성했으며, pyglet 기반의 벡셀 시각화는 바닥에서 천장까지 명확하고 색상 매핑된 공간 표현을 제공했다.
• 시스템은 다양한 프레임 간격(0.5초, 1초, 2초)에서도 실시간 성능과 높은 신뢰성을 확보했으며, 일관된 정렬 및 맵핑 결과를 얻었다.