[논문 리뷰] PlaneRCNN: 3D Plane Detection and Reconstruction from a Single Image

Chen Liu, Kihwan Kim외 3명|arXiv (Cornell University)|2018. 12. 10.

Advanced Neural Network Applications참고 문헌 50인용 수 6

한 줄 요약

PlaneRCNN는 단일 RGB 이미지에서 조각별 평면 표면을 검출하고 재구성하기 위한 새로운 딥러닝 프레임워크입니다. Mask R-CNN 기반의 검출 네트워크를 사용해 평면 매개변수, 세그멘테이션 마스크 및 깊이 맵을 예측합니다. 세그멘테이션 정밀화 네트워크와 뷰 일관성 손실을 통해 정확도를 향상시켜, 평균으로 14.7개의 평면을 포함하는 새로운 세밀한 벤치마크에서 최신 기술을 초월합니다.

ABSTRACT

This paper proposes a deep neural architecture, PlaneRCNN, that detects and reconstructs piecewise planar surfaces from a single RGB image. PlaneRCNN employs a variant of Mask R-CNN to detect planes with their plane parameters and segmentation masks. PlaneRCNN then jointly refines all the segmentation masks with a novel loss enforcing the consistency with a nearby view during training. The paper also presents a new benchmark with more fine-grained plane segmentations in the ground-truth, in which, PlaneRCNN outperforms existing state-of-the-art methods with significant margins in the plane detection, segmentation, and reconstruction metrics. PlaneRCNN makes an important step towards robust plane extraction, which would have an immediate impact on a wide range of applications including Robotics, Augmented Reality, and Virtual Reality.

연구 동기 및 목표

• 이전 방법의 작은 평면 표면 검출 한계와 실내 및 실외 환경 등 다양한 도메인으로의 일반화 능력 향상을 해결합니다.
• 단일 이미지에서 3D 평면 재구성의 불안정한 성질을 극복하기 위해 강력한 기하학적 사전 지식과 전반적인 장면 이해를 통합합니다.
• 고정된 최대 평면 수를 입력으로 요구하지 않고도 유연하고 임의의 수의 평면 검출을 가능하게 합니다.
• 학습 중 세그멘테이션과 깊이맵 정확도 향상을 위해 공동 최적화 및 다중 뷰 일관성 원리를 활용합니다.
• 세밀하고 고밀도의 평면 애너테이션을 포함한 새로운 고품질 벤치마크를 제공하여 최신 기술의 평가 및 발전을 더 잘 지원합니다.

제안 방법

• 단일 RGB 이미지에서 인스턴스 마스크, 평면 법선, 픽셀별 깊이 값을 예측하기 위해 Mask R-CNN을 검출 네트워크로 변형합니다.
• 다른 마스크의 특징을 통합하여 모든 검출된 평면 간의 마스크 일관성을 향상시키기 위해 U-Net 아키텍처를 사용하는 세그멘테이션 정밀화 네트워크를 도입합니다.
• 예측된 깊이맵과 동일한 장면의 두 번째 뷰 간의 기하학적 일관성을 강제하는 워핑 손실 모듈을 설계합니다.
• ScanNet 데이터셋의 3D 스캔을 사용해 지도 데이터로 평면 애너테이션을 생성하며, 깊이 테스트 제거 및 볼록/오목성 추론을 통해 가려진 표 superficies의 완전한 마스크를 포함합니다.
• 검출, 정밀화, 워핑 목적을 통합한 다중 작업 손실을 사용해 엔드 투 엔드로 모델을 훈련시켜 평면 검출, 세그멘테이션, 깊이 추정을 공동 최적화합니다.
• 3D 평면 기하학 기반의 깊이맵 융합 규칙을 사용해 마스크 예측 헤드를 수정함으로써 가림 처리를 고려한 추론 능력을 제공합니다.

실험 결과

연구 질문

• RQ1 검출 기반 딥러닝 프레임워크가 기존의 세그멘테이션 기반 방법보다 단일 RGB 이미지에서 조각별 평면 구조를 검출하고 재구성하는 데 더 우수한 성능을 내는가?
• RQ2 공동 정밀화를 통해 세그멘테이션 마스크의 일관성과 정확도가 독립적인 마스크 예측보다 향상되는 정도는 어느 정도인가?
• RQ3 워핑 손실을 통해 이웃 뷰와의 일관성을 강제함으로써 평면 매개변수와 깊이맵의 기하학적 정확도가 얼마나 향상되는가?
• RQ4 모델이 실내 스캔 데이터로 훈련되었음에도 불구하고, 미세조정 없이도 새로운 장면 유형(예: 실외 환경)에 효과적으로 일반화되는가?
• RQ5 가려진 표면 재구성 기능이 뷰 합성 및 장면 완성 작업의 품질을 얼마나 향상시키는가?

주요 결과

• PlaneRCNN는 평균 14.7개의 평면을 포함하는 새로운 벤치마크에서 최신 기술을 달성하며, 이는 이전 벤치마크의 평균 6개의 평면보다 크게 높습니다.
• PlaneNet과 PlaneRecover보다 평면 검출, 세그멘테이션, 재구성 지표에서 큰 격차를 보이며, 평면 검출 F1-스코어에서 최대 0.405의 향상이 있었습니다.
• 세그멘테이션 정밀화 네트워크는 인접한 평면 간의 간극을 줄여 마스크 일관성을 향상시키고 분할을 감소시켰습니다.
• 워핑 손실 모듈은 다중 뷰 일관성을 활용해 기하학적 오류를 수정하여, 특히 모호하거나 무늬가 없는 영역에서 평면 매개변수와 깊이맵의 정확도를 향상시켰습니다.
• 가림 처리를 고려한 수정된 PlaneRCNN는 가구 뒤의 바닥과 같은 보이지 않는 표면을 성공적으로 추론하여 아티팩트 없는 뷰 합성과 계층적 깊이맵 모델링을 가능하게 했습니다.
• PlaneRCNN는 미세조정 없이도 NYUv2, KITTI, SYNTHIA, Tank and Temple 등의 새로운 데이터셋에 잘 일반화되어 강력한 제로샷 일반화 능력을 입증했습니다.