[논문 리뷰] E3D: Event-Based 3D Shape Reconstruction

Alexis Baudron, Zihao W. Wang외 2명|arXiv (Cornell University)|2020. 12. 09.

Robotics and Sensor-Based Localization참고 문헌 44인용 수 7

한 줄 요약

E3D는 단일 이벤트 카메라를 사용하여 이벤트 카메라 데이터로부터 고밀도 3D 메시 재구성을 위한 새로운 방법을 제안한다. 이는 다중 시야 일致성을 확보하기 위해 이벤트에서 실루엣으로의 변환(E2S) 네트워크와 함께 공동으로 자세 회귀 및 가분성 있는 3D 렌더링을 활용한다. 이 방법은 고속 운동 조건 하에서 ShapeNet 객체 재구성에서 최신 기술 수준의 성능을 달성하며, 이는 각각 0.40m와 40.6°의 중앙값 이동 오차와 중앙값 회전 오차를 기록한다. 이는 운동 블러에 대한 강건성을 입증한다.

ABSTRACT

3D shape reconstruction is a primary component of augmented/virtual reality. Despite being highly advanced, existing solutions based on RGB, RGB-D and Lidar sensors are power and data intensive, which introduces challenges for deployment in edge devices. We approach 3D reconstruction with an event camera, a sensor with significantly lower power, latency and data expense while enabling high dynamic range. While previous event-based 3D reconstruction methods are primarily based on stereo vision, we cast the problem as multi-view shape from silhouette using a monocular event camera. The output from a moving event camera is a sparse point set of space-time gradients, largely sketching scene/object edges and contours. We first introduce an event-to-silhouette (E2S) neural network module to transform a stack of event frames to the corresponding silhouettes, with additional neural branches for camera pose regression. Second, we introduce E3D, which employs a 3D differentiable renderer (PyTorch3D) to enforce cross-view 3D mesh consistency and fine-tune the E2S and pose network. Lastly, we introduce a 3D-to-events simulation pipeline and apply it to publicly available object datasets and generate synthetic event/silhouette training pairs for supervised learning.

연구 동기 및 목표

• 3D 감독 또는 RGB 데이터 없이 이벤트 카메라에서 고밀도 3D 메시 재구성을 가능하게 하기 위해.
• 기존 스테레오 및 기능 기반 이벤트 기반 3D 방법의 한계를 극복하기 위해 실루엣 사전 지식을 활용하여 다중 시야 형상 재구성에 기여하기 위해.
• 공개된 ShapeNet 데이터셋에서 객체별 작업에 대한 지도 학습을 가능하게 하기 위해 이벤트-실루엣 쌍을 생성하는 합성 데이터 파이프라인을 개발하기 위해.
• 기존 프레임 기반 센서에서 흔히 발생하는 운동 블러 및 고속 운동에 대한 강건성을 향상시키기 위해.
• 이벤트 스트림에서 실루엣과 절대 카메라 자세를 동시에 예측하는 학습 프레임워크를 수립하기 위해.

제안 방법

• 스택된 이벤트 프레임을 2D 실루엣으로 변환하기 위한 이벤트에서 실루엣으로의 변환(E2S) 신경망을 도입하며, 절대 카메라 자세 회귀를 위한 보조 분기 구조를 포함한다.
• 다중 시야에서의 3D 메시 일관성을 확보하기 위해, 예측된 실루엣을 기반으로 메시를 최적화하는 데 PyTorch3D를 사용한 3D 가분성 렌더러를 활용한다.
• 새로운 3D에서 이벤트로의 시뮬레이션 파이프라인을 통해 공개된 ShapeNet 데이터셋에서 지도 학습을 가능하게 하는 합성 이벤트-실루엣 쌍을 생성한다.
• 메시 재구성 손실을 사용하여 실루엣 및 메시 예측을 다중 시야 최적화 전략으로 정밀하게 조정함으로써 공간 일관성을 향상시킨다.
• 다중 시야에서 렌더링된 실루엣과 예측된 실루엣 간의 차이를 최소화하기 위해 가분성 렌더링 손실을 사용하여 네트워크를 피지컬 튜닝한다.
• RGB, 깊이 또는 LiDAR에 의존하지 않고 오직 이벤트 데이터만을 활용하며, 저전력 및 엣지 배포에 최적화되어 있다.

실험 결과

연구 질문

• RQ1 실루엣 사전 지식과 가분성 렌더링을 활용하여 이벤트 카메라 데이터만으로 고밀도 3D 메시 재구성을 달성할 수 있는가?
• RQ2 이벤트 스트림에서 실루엣과 절대 카메라 자세를 동시에 예측하는 것이 3D 재구성 정확도에 어떻게 기여하는가?
• RQ3 제안된 3D에서 이벤트로의 시뮬레이션 파이프라인이 이벤트 기반 3D 재구성에 효과적인 지도 학습을 얼마나 잘 가능하게 하는가?
• RQ4 이 방법은 기존 프레임 기반 RGB 방법과 비교해 고속 운동 및 운동 블러 조건에서 어떻게 성능을 발휘하는가?
• RQ5 가분성 메시 최적화가 실루엣 예측의 노이즈와 아티팩트를 줄이는 데 어떤 영향을 미치는가?

주요 결과

• 이 방법은 고속 조건 하에서 ShapeNet 데이터셋에서 중앙값 이동 오차 0.40m와 중앙값 회전 오차 40.6°를 기록하며, 유사한 이미지 기반 방법보다 뛰어난 성능을 보였다.
• E3D 접근법은 운동 블러에 강건하며, 프레임 기반 센서가 블러로 인해 실패할 때조차도 장면의 내용을 유지한다.
• 피지컬 튜닝된 모델은 입력 실루엣보다 메시 실루엣 IoU를 향상시켜, 다중 시야 최적화가 재구성 품질을 향상시킨다는 것을 보여준다.
• 기본 모델은 세그먼테이션에 평균 IoU 0.37, 메시에 대해 0.32를 기록했으나, 피지컬 튜닝된 버전은 각각 0.36과 0.30으로 향상되어 가분성 렌더링 손실의 유용성을 입증한다.
• 고품질 실루엣 예측에도 불구하고, 실루엣에 존재하는 노이즈와 체크무늬 아티팩트는 여전히 재구성에 영향을 미치지만, 다중 시야 최적화가 이들의 영향을 완화시킨다.
• 자세 예측 성분은 여전히 약점으로 남아 있으며, 이동 오차보다 더 높은 각도 오차를 기록함으로써, 향후 작업에서 기하학적 손실(예: 재투영 오차) 도입이 필요하다.