[논문 리뷰] Learning to Reconstruct 3D Manhattan Wireframes from a Single Image

Yichao Zhou, Haozhi Qi외 5명|arXiv (Cornell University)|2019. 05. 17.

3D Surveying and Cultural Heritage참고 문헌 33인용 수 7

한 줄 요약

이 논문은 단일 RGB 이미지에서 유일한 컨volution 신경망을 사용하여 2D 접합점, 선분, 깊이 및 퇸점(소멸점)을 동시에 탐지함으로써 정확한 3D 맨하탄 와이어프레임을 복원하는 딥러닝 방법을 제안한다. 이 방법은 평행성과 같은 전역적 구조적 사전 지식을 활용하여 컴act하고 기하학적으로 일관된 3D 와이어프레임 표현을 생성하며, 합성 및 실제 도시 환경에서 상태의 기술보다 뛰어난 2D 와이어프레임 탐지(4포인트 AP 향상)와 강력한 3D 복원 성능을 달성한다.

ABSTRACT

In this paper, we propose a method to obtain a compact and accurate 3D wireframe representation from a single image by effectively exploiting global structural regularities. Our method trains a convolutional neural network to simultaneously detect salient junctions and straight lines, as well as predict their 3D depth and vanishing points. Compared with the state-of-the-art learning-based wireframe detection methods, our network is simpler and more unified, leading to better 2D wireframe detection. With global structural priors from parallelism, our method further reconstructs a full 3D wireframe model, a compact vector representation suitable for a variety of high-level vision tasks such as AR and CAD. We conduct extensive evaluations on a large synthetic dataset of urban scenes as well as real images. Our code and datasets have been made public at https://github.com/zhou13/shapeunity.

연구 동기 및 목표

• 심도 센서나 다중 시점 설정에 의존하지 않고 단일 RGB 이미지에서 3D 시나리오 기하학을 복원하는 과제를 해결하기 위해.
• 2D 와이어프레임 구성요소(접합점, 선분)와 그들의 3D 깊이, 소멸점을 동시에 예측하는 통합 딥러닝 프레임워크를 개발하기 위해.
• 특히 맨하탄 기하학과 평행성과 같은 전역적 구조적 사전 지식을 활용하여 단일 이미지에서 강력하고 정확한 3D 와이어프레임 복원을 위해.
• AR, CAD 및 고수준 비전 작업에 적합한 컴act한 벡터 기반 3D 와이어프레임 표현을 생성하기 위해.
• 합성 도시 데이터셋과 실제 이미지에서의 평가를 통해 일반화 능력과 강건성을 입증하기 위해.

제안 방법

• 단일 컨volution 신경망을 학습하여 단일 이미지에서 C-접합점, T-접합점, 직선을 동시에 탐지하고, 그들의 3D 깊이와 소멸점을 예측한다.
• 2D 와이어프레임 탐지, 깊이 예측, 소멸점 추정을 통합한 손실 함수를 사용하여 기하관계의 엔드 투 엔드 최적화를 가능하게 한다.
• 맨하탄 세계에서의 선분 평행성 및 수직성과 같은 기하 제약 조건을 후처리 단계에서 강제 적용하여 3D 와이어프레임 기하학을 정밀하게 조정한다.
• 이미지 평면상의 선분 세그먼트 군집화를 통해 소멸점 추정을 수행한 후, 기하 일관성과 깊이 사전 지식을 이용해 정밀 조정한다.
• 예측된 소멸점과 선분 기하학에 일치하는 비선형 최적화를 적용하여 깊이를 정밀 조정함으로써 깊이 정확도를 향상시킨다.
• 최종 3D 와이어프레임은 예측된 깊이와 소멸점 제약 조건을 사용하여 2D 탐지 결과를 3D 공간으로 투영함으로써 구성된다.

실험 결과

연구 질문

• RQ1 단일 딥 뉴럴 네트워크가 높은 정확도로 2D 와이어프레임 구성요소(접합점, 선분)와 그들의 3D 깊이를 동시에 예측할 수 있는가?
• RQ2 맨하탄 세계에서의 평행성 및 수직성과 같은 전역 기하 사전 지식이 단일 이미지에서 3D 와이어프레임 복원에 얼마나 효과적으로 기여하는가?
• RQ3 접합점 유형(접합점 C vs. 접합점 T)을 동시에 학습하는 것이 3D 복원 품질에 얼마나 기여하는가?
• RQ4 제안된 방법은 정확도와 강건성 측면에서 최신 2D 와이어프레임 탐지 및 3D 복원 기법들과 비교해 어떻게 성능을 내는가?
• RQ5 생성된 3D 와이어프레임 표현이 신규 시점 합성 및 고수준 비전 작업에 효과적으로 활용될 수 있는가?

주요 결과

• 제안된 방법은 기준 방법 [12]에 비해 2D 와이어프레임 탐지 작업에서 평균 정밀도(AP)에 4포인트 향상되었으며, 파라미터 수가 적은 편(19M 대비 30M)임에도 불구하고 성능이 뛰어나다.
• 선분와 접합점에 대해 별도의 헤드를 학습시키는 것보다 네트워크 성능이 유의미하게 뛰어나지 않으며, 이는 공동 최적화가 성능 향상의 핵심 요소임을 입증한다.
• 신경망을 통한 소멸점 탐지의 평균 각도 오차는 2.69°이며, 실패율은 2.3%로, LSD/J-Linkage 방법보다 강건성을 뛰어나지만 성공 시 오차는 略로 높다.
• 깊이 정밀 조정은 테스트 케이스의 65%에서 SILog 오차를 감소시켜, 소멸점에서 유도된 기하 제약 조건이 깊이 정확도 향상에 기여함을 입증한다.
• 합성 및 실제 이미지 모두에서 시각적으로 타당하고 기하학적으로 일관된 3D 와이어프레임을 생성하며, 신규 시점 합성 결과는 일관된 3D 기하학을 보여준다.
• 시스템은 복잡한 구조물(빅벤 포함)이 있는 실제 도시 환경에도 잘 일반화되며, 텍스처 라인이나 표면 패atters에 의해 오도되지 않는다.