[논문 리뷰] AprilTags 3D: Dynamic Fiducial Markers for Robust Pose Estimation in Highly Reflective Environments and Indirect Communication in Swarm Robotics

Luis A. Mateos|arXiv (Cornell University)|2020. 01. 11.

Robotics and Sensor-Based Localization참고 문헌 15인용 수 10

한 줄 요약

이 논문은 다중 AprilTags를 비공면인 기울인 평면에 장착하여 3차원적인 피드기얼 마커 시스템인 AprilTags3D를 소개한다. 이는 반사율이 높고 외부 환경에서의 반사로 인한 노이즈가 심한 실외 환경에서 자세 추정 정확도를 향상시킨다. 실시간으로 공간적으로 분산된 태그들에서 유도된 자세 추정치를 융합함으로써 노이즈를 감소시키고 탐지 신뢰도를 향상시킨다. 기존 AprilTags는 40%의 실패율을 보였지만, AprilTags3D는 외부 수중 환경에서도 95%의 태그 탐지율을 달성한다. 또한 LCD 화면에 태그 ID를 동적으로 변경함으로써 스웜 로봇 간에 간접적인 통신을 가능하게 한다.

ABSTRACT

Although fiducial markers give an accurate pose estimation in laboratory conditions, where the noisy factors are controlled, using them in field robotic applications remains a challenge. This is constrained to the fiducial maker systems, since they only work within the RGB image space. As a result, noises in the image produce large pose estimation errors. In robotic applications, fiducial markers have been mainly used in its original and simple form, as a plane in a printed paper sheet. This setup is sufficient for basic visual servoing and augmented reality applications, but not for complex swarm robotic applications in which the setup consists of multiple dynamic markers (tags displayed on LCD screen). This paper describes a novel methodology, called AprilTags3D, that improves pose estimation accuracy of AprilTags in field robotics with only RGB sensor by adding a third dimension to the marker detector. Also, presents experimental results from applying the proposed methodology to swarm autonomous robotic boats for latching between them and for creating robotic formations.

연구 동기 및 목표

• 도시 강에서 햇빛과 물 반사로 인해 반사율이 높고 실용적인 환경에서 AprilTags 탐지 및 자세 추정이 불안정한 문제를 해결한다.
• 현장 로봇 응용 분야에서 시각적 왜곡과 반사로 인한 노이즈로 인해 성능이 저하되는 평면 AprilTags의 한계를 극복한다.
• 비공면 평면에 다수의 태그를 3차원적으로 배치함으로써 RGB 카메라만으로도 실시간으로 안정적인 6-DOF 자세 추정을 가능하게 한다.
• 추가 하드웨어 없이 LCD 화면에 태그 ID를 동적으로 변경함으로써 스웜 로봇 시스템에서 간접적이고 비접촉식 통신을 가능하게 하는 확장 가능한 방법을 개발한다.
• 실제 환경의 외부 요동(예: 파도, 바람 등)이 있는 상황에서 자율 로봇 보트의 락킹 및 편대 제어에 프레임워크의 효과성을 입증한다.

제안 방법

• 반사 영향을 줄이기 위해 서로 평행하지 않은 평면(예: 15–30° 기울임)에 다수의 AprilTags를 장착하여 반디스크 형태의 3차원 물체를 구성한다.
• 모든 가시 태그에서 검출된 모서리 점(각 태그 4개로 총 n개 태그일 경우 4n개 점)을 기반으로 다중 태그 자세 융합 알고리즘을 적용하여 단일이고 더 안정적인 6-DOF 자세 추정치를 계산한다. 이는 칼만 필터 기반 센서 융합을 모방한다.
• 모든 탐지된 태그 모서리 점에 대해 재투영 오차를 최소화하는 가중치가 부여된 최소 제곱 최적화를 적용하여 전역 자세 추정치를 산출하며, 불확실도 기반 가중치를 통해 더 신뢰도 있는 탐지 결과에 우선순위를 둔다.
• LCD 화면에 동적으로 태그 ID를 업데이트하여 로봇 상태(예: 락킹 준비 상태)를 인코딩함으로써 스웜 로봇 시스템 내에서 간접적이고 비전 기반의 통신을 가능하게 한다.
• 추가 센서(예: 자이로스코프, 깊이 카메라 등) 없이 오직 RGB 카메라만을 사용하여 자율 로봇 보트에 시스템을 구현한다.
• 자세 추정 기반의 락킹 원칙을 적용하여, 후행 로봇이 선도 로봇의 자세를 추정하고 40mm 이내의 정밀도로 목표 위치로 이동한다.

실험 결과

연구 질문

• RQ1 비공면 평면에 배치된 3D AprilTags는 평면 마커에 비해 반사율이 높은 실외 환경에서 자세 추정의 신뢰성을 크게 향상시키는가?
• RQ2 물 반사, 바람, 이동 플랫폼 등 실제 환경 조건에서 AprilTags3D 프레임워크는 탐지 실패율을 어느 정도 감소시키는가?
• RQ3 LCD 화면에 태그 ID를 동적으로 변경함으로써 추가 통신 하드웨어 없이도 스웜 로봇 간에 신뢰할 수 있는 간접 통신이 가능한가?
• RQ4 비공면 평면에 배치된 다수의 AprilTags 융합은 노이즈가 많고 동적인 환경에서 자세 추정 정확도를 향상시키고 노이즈를 감소시키는가?
• RQ5 AprilTags3D 프레임워크는 실시간 현장 응용에서 N대의 로봇 편대 구성 및 락킹 작업을 효과적으로 확장할 수 있는가?

주요 결과

• AprilTags3D는 강한 햇빛 반사가 있는 실외 수중 환경에서 태그 탐지율이 95%에 달했으며, 기존 인쇄형 AprilTags는 60%에 그쳤다.
• 실외 락킹 작업에서 AprilTags3D는 성공적인 락킹 당 평균 시도 횟수를 다섯 번에서 두 번 이하로 감소시켰다. 이는 자세 추정의 안정성 향상 덕분이었다.
• 3D 태그 배열은 반사와 시각적 왜곡으로 인한 자세 추정 오차를 크게 감소시켜, 개별 태그가 부분적으로 가림을 받더라도 안정적인 6-DOF 자세 추정을 가능하게 하였다.
• LCD 화면에 동적으로 업데이트된 태그는 로봇 상태(예: 락킹 준비 상태)를 스웜 전역에 전달하여, 전화게임과 유사한 통신 패턴을 통해 확장 가능한 비전 기반 편대 제어를 실현하였다.
• 시스템은 파도가 치는 동적 환경에서도 자율 로봇 보트가 40mm 이내의 정밀도로 락킹을 수행할 수 있도록 하였으며, 기계적 락킹에 필요한 정밀도를 충족시켰다.
• AprilTags3D 프레임워크는 확장성이 입증되었으며, 4척의 보트로 구성된 열차형 편대에서 각 로봇이 태그 업데이트를 통해 상태 정보를 순차적으로 전달하는 방식으로 N대의 편대 구성 및 락킹 작업을 성공적으로 수행하였다.