[논문 리뷰] E2ETag: An End-to-End Trainable Method for Generating and Detecting Fiducial Markers

J. Brennan Peace, Eric Psota외 2명|arXiv (Cornell University)|2021. 05. 28.

Advanced Image and Video Retrieval Techniques인용 수 8

한 줄 요약

E2ETag는 기하학적 변형과 겹침을 미분 가능한 이미지 보정 및 겹침을 사용하여 피드백 마커 생성과 검출을 종합적으로 최적화하는 엔드 투 엔드 학습 가능한 프레임워크를 제안한다. 역전파 가능한 보정을 사용한 합성 훈련을 통해 강건한 마커 설계와 검출기를 학습함으로써, 운동 왜곡, 노이즈 및 노출 부족과 같은 조건에서 기존 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

Existing fiducial markers solutions are designed for efficient detection and decoding, however, their ability to stand out in natural environments is difficult to infer from relatively limited analysis. Furthermore, worsening performance in challenging image capture scenarios - such as poor exposure, motion blur, and off-axis viewing - sheds light on their limitations. E2ETag introduces an end-to-end trainable method for designing fiducial markers and a complimentary detector. By introducing back-propagatable marker augmentation and superimposition into training, the method learns to generate markers that can be detected and classified in challenging real-world environments using a fully convolutional detector network. Results demonstrate that E2ETag outperforms existing methods in ideal conditions and performs much better in the presence of motion blur, contrast fluctuations, noise, and off-axis viewing angles. Source code and trained models are available at https://github.com/jbpeace/E2ETag.

연구 동기 및 목표

• 운동 왜곡, 노이즈 및 노출 부족과 같은 도전적인 영상 조건에서 전통적인 피드백 마커의 한계를 해결한다.
• 실제 환경의 시각적 열화에 적응할 수 없는 정적이고 히ュ리스틱한 기존 마커의 설계를 초월한다.
• 다양한 환경에서 강건성을 확보하기 위해 마커 생성과 검출 성능을 함께 최적화하는 통합형 학습 가능한 시스템을 개발한다.
• 실제 데이터가 필요 없이 실제 영상 촬영 조건을 시뮬레이션할 수 있도록, 역전파 가능한 보정을 사용한 합성 훈련을 가능하게 한다.
• 완전 컨볼루션 신경망 검출기를 사용하여 제어된 현실적인 왜곡 조건 하에서 마커 강건성 평가를 위한 프레임워크를 제공한다.

제안 방법

• 일반화된 벡터 표현에서 피드백 마커를 생성하기 위해 전치 컨볼루션 네트워크를 사용한다.
• 훈련 중에 운동 왜곡, 대trast 변동 및 화이트 밸런스 이동과 같은 역전파 가능한 이미지 보정을 적용하여 실제 환경 열화를 시뮬레이션한다.
• 미분 가능한 겹침을 통해 생성된 마커를 실제 이미지에 겹쳐 넣어, 생성기와 검출기의 엔드 투 엔드 훈련을 가능하게 한다.
• 단일 순방향 전파로 마커 위치, 식별자 및 자세를 예측하기 위해 완전 컨볼루션 신경망(FCN) 검출기를 사용한다.
• 실제 마커 배치 데이터에 의존하지 않고, 무작위 보정을 적용한 합성 데이터를 사용해 전체 시스템을 엔드 투 엔드로 훈련한다.
• 위치 추정, 분류 및 자세 추정의 감독을 통합한 미분 가능한 손실 함수를 사용하여 마커 및 검출기 구성 요소를 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 학습 가능한 시스템이 실제 환경 조건에서 강건성을 향상시키기 위해 피드백 마커 설계와 검출 성능을 함께 최적화할 수 있는가?
• RQ2 역전파 가능한 보정을 사용한 합성 훈련이 실제 영상 왜곡(예: 왜곡 및 노이즈)에 일반화하는 데 얼마나 효과적인가?
• RQ3 어느 정도로 제안된 방법은 어려운 영상 조건에서 기존 피드백 마커(예: AprilTag, ChromaTag)를 초월하는가?
• RQ4 합성 데이터만으로 훈련된 검출기가 실제 데이터에 대한 미세조정 없이도 실제 영상으로 일반화할 수 있는가?
• RQ5 역전파 가능한 겹침 통합 방식이 비미분 가능한 데이터 보정 방식에 비해 마커 검출 가능성과 강건성에 얼마나 기여하는가?

주요 결과

• 모든 테스트 보정 조건에서 E2ETag는 평균 정밀도 0.9333과 평균 재현율 0.5600을 기록하여 운동 왜곡 및 대trast 변동 조건에서 AprilTag 및 ChromaTag를 크게 앞서나간다.
• 운동 왜곡 조건에서 E2ETag는 정밀도 0.9583, 재현율 0.3943을 기록했으며, AprilTag의 정밀도 0.4375와 재현율 0.1200에 비해 훨씬 뛰어난 강건성을 보였다.
• 저대비 및 노이즈 조건에서는 E2ETag가 정밀도 0.9439, 재현율 0.5771을 기록했고, ChromaTag의 정밀도 0.0039와 재현율 0.1143에 비해 훨씬 뛰어나다.
• 시각화를 통해 AprilTag 및 ChromaTag가 실패하는 어려운 케이스에서도 E2ETag가 마커를 성공적으로 검출함을 확인했다. (200% 확대 캡처 시각화 결과 참조)
• 합성 데이터만으로 훈련되었음에도 불구하고 E2ETag는 실제 영상으로의 일반화가 잘 되었으며, 실제 데이터로의 미세조정을 통해 성능이 추가로 향상됨을 확인했다.
• RTX 2080 Ti GPU를 사용할 경우 640×640 프레임에서 10 FPS로 작동하여 실용적인 타당성을 입증했으며, AprilTag(900 FPS)와 같은 고도로 최적화된 기준 대비 느리지만 충분히 실용적이다.