[논문 리뷰] Learning 3D-3D Correspondences for One-shot Partial-to-partial Registration

Zheng Dang, Fei Wang외 1명|arXiv (Cornell University)|2020. 06. 08.

Robotics and Sensor-Based Localization참고 문헌 45인용 수 10

한 줄 요약

이 논문은 완전한 대응을 가정하는 기존의 학습 기반 방법의 한계를 해결하기 위해, 외곽선 상자와 함께 최적 운반(Optimal Transport) 레이어를 사용하여 부분적인 대응을 모델링하는 OPRNet을 제안한다. 이는 부분-부분 3D 포인트 클라우드 정렬을 위한 최초의 원샷 학습 기반 방법이며, ModelNet40에서 최신 기술 수준의 정확도와 강건성을 달성한다. 반복적 방법인 PRNet보다 뛰어나지만 GPU 메모리 사용량은 6배 적고, 새로운 카테고리와 실세계 데이터로의 일반화 능력도 뛰어나다.

ABSTRACT

While 3D-3D registration is traditionally tacked by optimization-based methods, recent work has shown that learning-based techniques could achieve faster and more robust results. In this context, however, only PRNet can handle the partial-to-partial registration scenario. Unfortunately, this is achieved at the cost of relying on an iterative procedure, with a complex network architecture. Here, we show that learning-based partial-to-partial registration can be achieved in a one-shot manner, jointly reducing network complexity and increasing registration accuracy. To this end, we propose an Optimal Transport layer able to account for occluded points thanks to the use of outlier bins. The resulting OPRNet framework outperforms the state of the art on standard benchmarks, demonstrating better robustness and generalization ability than existing techniques.

연구 동기 및 목표

• 실세계 상황에서는 포인트 클라우드가 완전히 관측된다는 가정을 하는 기존의 학습 기반 방법의 한계를 해결하기 위해.
• 반복 최적화와 복잡한 훈련 전략을 피하는 원샷, 엔드 투 엔드 딥 러닝 프레임워크를 개발하기 위해.
• 추론 중에 가림, 노이즈, 그리고 새로운 카테고리가 존재하는 상황에서도 강건성과 일반화 능력을 향상시키기 위해.
• PRNet와 같은 이전 최신 기술 수준의 반복적 방법이 네 개의 32GB GPU를 필요로 하는 것과 비교해 계산 및 메모리 오버헤드를 줄이기 위해.

제안 방법

• 소스 및 타겟 포인트 클라우드의 빠진 점이나 가림을 고려할 수 있도록 부분적 대응을 모델링하기 위해 외곽선 상자와 함께 최적 운반(OT) 레이어를 도입한다.
• DCP의 소프트맥스 기반 대응 헤드를 대체하기 위해, 싱커프 알고리즘을 통해 미분 가능하고 희소한 할당 행렬을 계산하는 OT 레이어를 사용하며, 이는 일대일 대응을 보장한다.
• SVD를 통해 얻은 강체 변환을 감독하는 대신, OT 레이어의 출력(할당 행렬)에 직접 감독을 적용함으로써 훈련의 안정성과 강건성을 향상시킨다.
• 공통된 특징 추출 백본(DGCNN)과 트랜스포머를 사용하여 소스 및 타겟 포인트 클라우드의 국소 및 글로벌 특징 표현을 향상시킨다.
• 학습된 유사도 점수를 바탕으로 소스 및 타겟 점 사이의 운반 비용 행렬을 계산하는 미분 가능한 OT 레이어를 구현하며, 불일치하는 점들은 외곽선 상자에 흡수된다.
• 예측된 대응 행렬에 대한 평균 제곱 오차 손실을 사용하여 네트워크를 엔드 투 엔드로 훈련함으로써, 직접적으로 매칭 과정을 최적화할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 반복 최적화에 의존하지 않고도 원샷 학습 기반 방법이 부분-부분 3D 정렬에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 외곽선 상자를 사용해 가림된 점이 있는 부분적 대응을 다루기 위해 최적 운반을 어떻게 적응시킬 수 있는가?
• RQ3 SVD 이후의 강체 변환을 감독하는 것보다 OT 레이어 출력에 직접 감독을 적용할 경우 더 높은 강건성이 달성되는가?
• RQ4 작은 크기의 원샷 네트워크가 피팅 조정 없이도 새로운 카테고리와 실세계 데이터로 효과적으로 일반화될 수 있는가?

주요 결과

• OPRNet는 PRNet와 같은 최신 기술 수준의 반복적 방법보다 ModelNet40 벤치마크에서 뛰어난 성능을 보이며, 새로운 카테고리와 높은 점수 손실률 조건에서도 성능이 뛰어나다.
• 이 방법은 뛰어난 강건성과 일반화 능력을 확보하여, 피팅 조정이나 재학습 없이도 실세계 데이터로도 잘 일반화된다.
• OPRNet는 PRNet가 네 개의 32GB GPU를 필요로 하는 것과 비교해 훈련 메모리 요구량을 약 6배 감소시키면서도 높은 정확도를 유지한다.
• 직접적인 OT 레이어 출력 감독이 SVD 기반 감독보다 성능 향상에 뚜렷한 기여를 하며, 새로운 카테고리에서의 추론 실험에서 이를 확인할 수 있다.
• 높은 점수 손실률 조건에서도 높은 정확도를 유지하므로, 깊이 센서나 부분 스캔을 포함한 응용 분야에 적합하다.
• 추론 실험 결과, 외곽선 상자와 함께 OT 레이어가 부분적 대응을 다루는 데 필수적임을 확인했으며, 완전한 관측을 가정하는 기준 모델보다 성능이 뛰어나다.