[논문 리뷰] CurveFusion: Reconstructing Thin Structures from RGBD Sequences

Lingjie Liu, Nenglun Chen외 4명|arXiv (Cornell University)|2021. 07. 12.

Robotics and Sensor-Based Localization참고 문헌 48인용 수 14

한 줄 요약

CurveFusion는 수동으로 촬영한 RGBD 시퀀스에서 얇은 필라멘트 구조를 고해상도로 재구성하기 위한 새로운 방법으로, 데이터 기반 곡선 스켈레톤을 융합 기본 요소로 사용한다. 정렬된 깊이 프레임을 번들로 묶고, 각 번들에 대해 L1 축을 추출하며, 스켈레톤 세그먼트를 반복적으로 융합함으로써 기존 볼륨 기반 융합이 얇은 구조물에서 노이즈와 누락 데이터로 인해 실패하는 상황에서도 인터랙티브 속도로 재구성을 달성한다.

ABSTRACT

We introduce CurveFusion, the first approach for high quality scanning of thin structures at interactive rates using a handheld RGBD camera. Thin filament-like structures are mathematically just 1D curves embedded in R^3, and integration-based reconstruction works best when depth sequences (from the thin structure parts) are fused using the object's (unknown) curve skeleton. Thus, using the complementary but noisy color and depth channels, CurveFusion first automatically identifies point samples on potential thin structures and groups them into bundles, each being a group of a fixed number of aligned consecutive frames. Then, the algorithm extracts per-bundle skeleton curves using L1 axes, and aligns and iteratively merges the L1 segments from all the bundles to form the final complete curve skeleton. Thus, unlike previous methods, reconstruction happens via integration along a data-dependent fusion primitive, i.e., the extracted curve skeleton. We extensively evaluate CurveFusion on a range of challenging examples, different scanner and calibration settings, and present high fidelity thin structure reconstructions previously just not possible from raw RGBD sequences.

연구 동기 및 목표

• 노이즈가 많고 해상도가 낮은 RGBD 스캔에서 얇고 필라멘트 구조(예: 전선, 실)를 재구성하는 과제를 해결하기 위해, 기존 볼륨 기반 융합 방법이 잘 포착하지 못하는 얇은 구조물에 대응한다.
• 직접 표면 재구성용이 아니라 신뢰할 수 있는 스켈레톤 추출 및 검증을 위해 깊이 및 RGB 데이터를 모두 활용하는 재구성 파이프라인을 개발한다.
• 고정된 융합 기본 요소(예: 볼륨 격자)를 데이터에 따라 결정되는 융합 기본 요소—곡선 스켈레톤—으로 대체하여 얇은 구조물의 연결성과 기하학적 특성을 더 잘 표현한다.
• 기존 융합 기술과 일반적인 RGBD 카메라로는 이전에 불가능했던 복잡한 얇은 구조물의 인터랙티브 속도 재구성을 가능하게 한다.

제안 방법

• 노이즈와 드리프트에 더 강건하게 하기 위해 RGBD 시퀀스를 고정 길이의 연속 프레임 번들로 분할한다.
• 각 번들에 대해 깊이 및 RGB 신호의 조합을 사용하여 얇은 구조물에 속할 가능성이 높은 깊이 점을 식별하고 분할하여 통합된 점 집합인 '번들 차이 집합'을 형성한다.
• 각 번들의 점 집합에 대해 L1 축(L1 중앙선)을 계산하여 국소 스켈레톤 세그먼트를 추출하며, 외곽치에 대한 민감도를 최소화한다.
• 전역 최적화 프레임워크를 사용하여 모든 번들의 스켈레톤 세그먼트를 정렬하고 반복적으로 융합하여 완전하고 연속적인 곡선 스켈레톤을 형성한다.
• 최종 재구성은 추출된 스켈레톤을 따라 깊이 데이터를 융합함으로써 이루어지며, 고정된 볼륨 격자가 아니라 데이터에 따라 결정되는 융합 기본 요소로 스켈레톤을 사용한다.
• RGB 정보는 깊이 해상도 향상이나 표면 복원을 위해 사용되지 않고, 초기 검증 및 분할에만 활용된다.

실험 결과

연구 질문

• RQ1 노이즈가 많고 해상도가 낮은 RGBD 시퀀스에서 얇은 구조물을 재구성할 때, 고정된 기본 요소(예: 볼륨 격자)보다 데이터에 따라 결정되는 융합 기본 요소인 곡선 스켈레톤이 더 우수한 성능을 내는가?
• RQ2 노이즈가 많고 완전하지 못한 얇은 구조물의 깊이 점 집합에 대해 L1 축 계산을 효과적으로 적용하여 안정적인 스켈레톤 세그먼트를 추출할 수 있는가?
• RQ3 연속된 프레임을 번들로 묶는 것이 센서 노이즈와 카메라 드리프트가 있는 상황에서 스켈레톤 추출의 강건성을 향상시키는가?
• RQ4 깊이 해상도 향상이나 이미지 기반 복원에 의존하지 않고 RGB 정보가 얇은 구조물 탐지에 얼마나 효과적으로 기여할 수 있는가?
• RQ5 제안된 방법이 기존 볼륨 기반 융합이 실패하는 상황에서 복잡한 얇은 구조물의 고품질, 인터랙티브 속도 재구성을 달성할 수 있는가?

주요 결과

• CurveFusion는 직경이 4 mm에 이르는 매우 얇은 구조물도 성공적으로 재구성하여, KinectFusion 및 BundleFusion와 같은 기존 방법이 완전히 무시하거나 왜곡하는 특징들에 대해서도 고해상도 재현을 달성한다.
• 복잡한 시나리오의 경우 재구성 시간을 200초 이내로 단축시켜 일부 사례는 60초 이내로 완료하며, 인터랙티브 속도 성능을 실현한다.
• 재구성된 전선의 두께 추정치는 실제값과 매우 유사하며, 테스트 케이스 전반에서 4.5 mm에서 5.8 mm 사이로 일관성 있는 결과를 보였다.
• 번들 기반 처리 및 L1 축 추출을 사용함으로써 개별 프레임 처리나 전체 시퀀스에 대한 전역 L1 축을 사용하는 것보다 스켈레톤의 안정성과 완전성이 크게 향상되었다.
• 볼륨 기반 융합이 연결성 부족과 노이즈로 인해 실패하는 도전적인 시나리오(예: 얇고 굽은 구조물 또는 분지가 많은 곳)에서 기준 방법보다 뛰어난 성능을 보였다.
• 한계점으로는 약 2 mm 이하의 직경을 가진 구조물에서는 실패하며, 고차수 분지에서의 분할 및 반지름 추정이 완벽하지 않아, 분할 및 반지름 추정 향상 여지가 있음을 시사한다.