[논문 리뷰] PlaneNet: Piece-wise Planar Reconstruction from a Single RGB Image

Chen Liu, Shuicheng Yan외 3명|arXiv (Cornell University)|2018. 04. 17.

Advanced Vision and Imaging참고 문헌 39인용 수 15

한 줄 요약

PlaneNet는 단일 RGB 이미지에서 조각별 평면 기하학—평면 매개변수와 확률적 세그멘테이션 마스크—를 직접 예측하는 엔드 투 엔드 딥 뉴럴 네트워크를 제안한다. 평면 순서에 불변인 손실 함수를 활용하고 ScanNet에서 유래한 50,000개 이상의 합성 훈련 샘플을 사용함으로써, 평면 세그멘테이션과 깊이 추정 양 측면에서 최신 기준 성능을 달성한다.

ABSTRACT

This paper proposes a deep neural network (DNN) for piece-wise planar depthmap reconstruction from a single RGB image. While DNNs have brought remarkable progress to single-image depth prediction, piece-wise planar depthmap reconstruction requires a structured geometry representation, and has been a difficult task to master even for DNNs. The proposed end-to-end DNN learns to directly infer a set of plane parameters and corresponding plane segmentation masks from a single RGB image. We have generated more than 50,000 piece-wise planar depthmaps for training and testing from ScanNet, a large-scale RGBD video database. Our qualitative and quantitative evaluations demonstrate that the proposed approach outperforms baseline methods in terms of both plane segmentation and depth estimation accuracy. To the best of our knowledge, this paper presents the first end-to-end neural architecture for piece-wise planar reconstruction from a single RGB image. Code and data are available at https://github.com/art-programmer/PlaneNet.

연구 동기 및 목표

• 단일 RGB 이미지에서 구조적이고 조각별 평면 기하학 깊이맵을 복원하는 과제에 대응하기 위해, 단일 이미지 깊이 예측 기술의 발전에도 불구하고 여전히 도전적인 과제를 해결한다.
• 평면의 수나 순서에 대한 사전 지식이 필요 없이 평면 매개변수와 세그멘테이션 마스크를 동시에 예측할 수 있는 딥 러닝 프레임워크를 개발한다.
• 기하학적 구조를 다르게 처리하는 순서에 민감하지 않은 손실 함수를 모델링하여 평면 세그멘테이션과 깊이 추정 정확도를 향상시킨다.
• 증강 현실 및 실내 레이아웃 추정과 같은 후속 응용 프로그램을 가능하게 하기 위해 강력하고 엔드 투 엔드 신경망 아키텍처를 제공한다.
• ScanNet 데이터셋에서 유래한 50,000개 이상의 고품질 합성 훈련 및 테스트 샘플을 생성하여 조각별 평면 재구성에 대한 벤치마크를 설정한다.

제안 방법

• 네트워크는 단일 RGB 이미지에서 평면 매개변수(정규 벡터 및 거리)와 각 평면에 대한 확률적 세그멘테이션 마스크를 엔드 투 엔드로 예측하도록 훈련된다.
• 출력에서 평면 순서에 대해 불변인 새로운 손실 함수가 설계되어, 지도 학습에서 평면 순서의 진술이 필요 없도록 한다.
• 세그멘테이션 마스크가 모두 0이 되도록 허용함으로써 평면 수를 제어하며, 이는 저신뢰도 평면을 효과적으로 억제한다.
• 비평면 영역에서는 깊이맵을 예측하며, 이 손실은 확률적 세그멘테이션 마스크에 의해 가중되어 역전파를 가능하게 한다.
• 평면 법선을 사용하여 투표 기반 방식으로 맨하탄 방향을 추출하고, 텍스처 편집 응용 프로그램을 위한 UV 좌표 정렬을 가능하게 한다.
• 예측된 평면의 일관된 순서를 기반으로 실내 레이아웃 추정 모듈을 구축하며, 오목한 헐 구조와 구성 간의 일치 점수를 활용한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 평면 순서나 수에 대한 지도 없이도 단일 RGB 이미지에서 평면 매개변수와 세그멘테이션 마스크를 예측할 수 있는가?
• RQ2 다중 평면 예측 과제에서 출력 평면의 순열에 대해 불변인 기울기 감지 가능한 손실 함수를 어떻게 설계할 수 있는가?
• RQ3 단일 이미지 네트워크가 깊이 또는 레이아웃 전용으로 훈련된 방법과 비교해 평면 세그멘테이션과 깊이 추정에서 뛰어난 성능을 달성할 수 있는가?
• RQ4 예측된 평면 순서를 활용해 혼잡하거나 가림이 있는 환경에서 실내 레이아웃을 추론할 수 있는가?
• RQ5 저조도 또는 매우 혼잡한 환경에서 이러한 시스템의 실패 모드는 무엇인가?

주요 결과

• PlaneNet는 평면 세그멘테이션에서 최신 기준 성능을 달성하며, 정량적 및 정성적 벤치마크에서 기존 방법을 크게 앞서 간다.
• 특정 깊이 추정 작업에 대해 훈련되지 않았음에도 불구하고, 전용 단일 이미지 깊이 추정 네트워크와 비슷하거나 더 뛰어난 깊이 예측 정확도를 달성한다.
• NYUv2 303 데이터셋에서 PlaneNet는 12.64%의 레이아웃 오차를 기록하여, 이전 최신 기준 방법(RoomNet)의 12.96% 오차율을 뛰어넘는다.
• 감독 없이도 일관된 평면 순서를 학습한다—예를 들어 바닥은 항상 두 번째 평면으로 일관되게 예측되며, 이는 신뢰할 수 있는 실내 레이아웃 추정을 가능하게 한다.
• 실패 모드로는 저조도 영역에서 거의 공면인 표면을 잘못 분류하거나, 유사한 텍스처를 가진 바닥과 벽 표면을 혼동하며, 혼잡한 환경에서 얇은 구조물(예: 기둥)을 탐지하지 못하는 경우가 있다.
• 예측된 법선에서 유도된 평면 기반 UV 좌표를 활용해 텍스처 삽입 및 교체와 같은 실용적인 증강 현실 응용을 가능하게 한다.