[논문 리뷰] UnsupervisedR&R: Unsupervised Point Cloud Registration via Differentiable Rendering

Mohamed El Banani, Luya Gao외 1명|arXiv (Cornell University)|2021. 02. 23.

3D Surveying and Cultural Heritage참고 문헌 75인용 수 8

한 줄 요약

UnsupervisedR&R는 광학적 일致성과 기하적 일치성을 강제하기 위해 미분 가능 렌더링을 사용하는 종단간, 비지도 학습 방법을 제안한다. 자동으로 렌더링된 RGB-D 영상에서 자가 supervision을 통해 자세 정보 없이도 학습함으로써, 수작업으로 설계된 또는 학습된 기능 기반 기법을 능가하고 지도 학습 기반 기하학적 렌더링 방법과 유사한 성능을 달성한다. 이는 시각 합성에 의한 자가 supervision이 애너테이션 없이도 강력한 학습을 가능하게 한다는 것을 보여준다.

ABSTRACT

Aligning partial views of a scene into a single whole is essential to understanding one's environment and is a key component of numerous robotics tasks such as SLAM and SfM. Recent approaches have proposed end-to-end systems that can outperform traditional methods by leveraging pose supervision. However, with the rising prevalence of cameras with depth sensors, we can expect a new stream of raw RGB-D data without the annotations needed for supervision. We propose UnsupervisedR&R: an end-to-end unsupervised approach to learning point cloud registration from raw RGB-D video. The key idea is to leverage differentiable alignment and rendering to enforce photometric and geometric consistency between frames. We evaluate our approach on indoor scene datasets and find that we outperform existing traditional approaches with classic and learned descriptors while being competitive with supervised geometric point cloud registration approaches.

연구 동기 및 목표

• RGB-D 데이터에서 자세 애너테이션이 없이도 포인트 클라우드 렌더링 문제를 해결하기 위해, 이러한 애너테이션이 비용이 많이 들고 확보하기 어려운 점을 해결하고자 한다.
• 연속된 프레임이 동일한 장면을 다른 시점에서 촬영하는 RGB-D 영상 내에서 자연스러운 supervision을 활용하여, 참값 자세 정보 없이도 렌더링 모델을 학습하고자 한다.
• 미분 가능 렌더링과 일致성 손실를 활용하여 기능 추출과 기하학적 정렬을 동시에 학습하는 종단간 비지도 학습 프레임워크를 개발하고자 한다.
• 광학적 일치성과 기하학적 일치성 손실가 자세 supervision을 대체하여 효과적인 포인트 클라우드 렌더링을 가능하게 할 수 있는지 검증하고자 한다.

제안 방법

• 이 방법은 RGB-D 프레임에서 3차원 좌표와 기능 벡터를 포함한 3차원 포인트 클라우드를 추출하기 위해 기능 인코더를 사용한다.
• 예측된 카메라 변환을 사용하여 한 프레임을 다른 프레임으로 미분 가능 렌더링함으로써 기울기 흐름이 렌더링 과정을 통해 유도되도록 한다.
• 입력 영상과 렌더링된 RGB 영상 간의 픽셀 단위 차이를 최소화하여 광학적 일치성을 강제한다.
• 렌더링된 포인트 클라우드와 대상 포인트 클라우드 간의 카메라 거리(Chamfer distance)를 최소화하여 기하학적 일치성을 강제한다.
• Lowe의 비율 테스트의 미분 가능 변형을 사용하여 대응 관계를 필터링함으로써 이상치에 대한 강건성을 향상시킨다.
• 추론 과정에서 랜덤으로 선택된 대응 관계의 부분집합을 사용함으로써 RANSAC의 영감을 얻어 강건성과 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 미분 가능 렌더링 파이프라인에서 광학적 일치성과 기하학적 일치성 손실가 자세 supervision을 대체하여 포인트 클라우드 렌더링에 효과적으로 기여할 수 있는가?
• RQ2 비지도 렌더링 프레임워크에서 대응 관계 필터링을 위해 사용된 미분 가능 Lowe 비율 테스트의 효과는 어떠한가?
• RQ3 RGB-D 영상에서의 자가 supervision이 지도 학습 기반 기하학적 렌더링 기법과 유사한 성능을 달성하는 데 얼마나 기여하는가?
• RQ4 부분집합 샘플링과 기능 학습 등의 설계 선택 사항이 모델의 강건성과 정확성에 어떤 영향을 미치는가?

주요 결과

• UnsupervisedR&R는 ScanNet 데이터셋에서 전통적인 기능 기반 기법(예: SIFT, FCGF)과 학습된 기능 기반 기법(예: DeepSDF)을 능가하는 성능을 보였다.
• 자세 지도 없이도 최신 지도 학습 기반 기하학적 렌더링 기법과 유사한 성능을 달성했다.
• 제거 실험 결과, 미분 가능 비율 테스트를 제거할 경우 성능 저하가 가장 크게 발생하여, 이 기법이 대응 관계 필터링에서 핵심적인 역할을 한다는 점을 입증했다.
• 추론 과정에서 더 많은 랜덤 부분집합을 사용할수록 성능 향상이 있었으며, 100개의 부분집합을 초과하면 성능 향상이 정체되는 것으로 나타나 정확도와 추론 시간 사이의 상충 관계를 보였다.
• 랜덤 부분집합 모듈을 추론 단계에서만 사용하지 않고 학습 단계에서만 사용할 경우 성능 향상이 있었으며, 이는 Dropout과 유사한 정규화 효과를 유도한다는 점을 시사했다.