[논문 리뷰] DuLa-Net: A Dual-Projection Network for Estimating Room Layouts from a Single RGB Panorama

Shang-Ta Yang, Fu-En Wang외 4명|arXiv (Cornell University)|2018. 11. 29.

Advanced Vision and Imaging참고 문헌 32인용 수 6

한 줄 요약

DuLa-Net는 단일 RGB 패ano에서 이(equal)직각 패ano와 투시도 천정뷰 투영을 함께 분석함으로써 3D 맨하탄 월드 룸 레이아웃을 추정하는 이중 투영 딥 러닝 프레임워크를 제안한다. 두 개의 인코더-디코더 브랜치 간의 특징 융합과 Realtor360 데이터셋 도입으로, 특히 복잡한 비직육면체 레이아웃에 대해 최신 기술 수준의 정확도를 달성하면서도 이전 방법 대비 추론 시간을 3.28배 빠르게 한다.

ABSTRACT

We present a deep learning framework, called DuLa-Net, to predict Manhattan-world 3D room layouts from a single RGB panorama. To achieve better prediction accuracy, our method leverages two projections of the panorama at once, namely the equirectangular panorama-view and the perspective ceiling-view, that each contains different clues about the room layouts. Our network architecture consists of two encoder-decoder branches for analyzing each of the two views. In addition, a novel feature fusion structure is proposed to connect the two branches, which are then jointly trained to predict the 2D floor plans and layout heights. To learn more complex room layouts, we introduce the Realtor360 dataset that contains panoramas of Manhattan-world room layouts with different numbers of corners. Experimental results show that our work outperforms recent state-of-the-art in prediction accuracy and performance, especially in the rooms with non-cuboid layouts.

연구 동기 및 목표

• 단일 RGB 패노라마에서 3D 룸 레이아웃 추정 정확도를 향상시키며, 특히 복잡한 비직육면체 레이아웃에 초점을 맞춘다.
• 가구나 반사 표면 등으로 인한 가림과 혼잡함으로 인한 과제를 해결한다.
• 최종 후처리 단계의 복잡성을 줄이기 위해 종단 간 방식으로 2D 바닥도 확률 맵을 직접 예측한다.
• 복잡한 룸 레이아웃을 가진 대규모이고 다양한 내부 패노라마를 포함하는 애너테이션된 데이터셋을 구축한다.
• 이전 방법에서 흔히 볼 수 있는 시간 소모적인 최적화 단계를 최소화하여 더 빠른 추론을 가능하게 한다.

제안 방법

• 네트워크는 두 개의 병렬 인코더-디코더 브랜치를 사용한다: 하나는 동일한 입력 패노라마의 등각도 패노라마 뷰를 처리하고, 다른 하나는 투시도 천정뷰를 처리한다.
• 두 디코더의 첫 몇 층을 연결하는 새로운 E2P(equirectangular-to-perspective) 기반 특징 융합 메커니즘이 도입되어 양 브랜치 간 특징 교환을 가능하게 한다.
• 패노라마 브랜치는 바닥-천장 확률 맵과 레이아웃 높이를 예측하고, 천정뷰 브랜치는 천정뷰 투영에서의 바닥도 확률 맵을 예측한다.
• 최종 2D 바닥도는 세 개의 융합된 바닥도 맵의 가중 평균에 맨하탄 월드 기준 다각형을 피팅하여 생성된다.
• 종단 간 학습을 통해 다중 작업 손실 함수를 사용하여 바닥도 정확도와 레이아웃 높이 예측을 동시에 최적화한다.
• 4~12개의 모서리를 가진 2,573개의 애너테이션된 패노라마를 포함하는 Realtor360 데이터셋은 복잡한 비직육면체 레이아웃에서의 학습을 지원하기 위해 제작되었다.

Figure 1: 3D room layouts with different complexity are estimated from a single RGB panorama using our system. ( Left to right ) Room layout with a floor plan of 6 corners, 8 corners, and 10 corners. The checkerboard patterns on the walls indicate the missing textures due to occlusion.

실험 결과

연구 질문

• RQ1 단일 패노라마의 이중 투영 분석이 특히 복잡한 비직육면체 실내 공간에 대해 3D 룸 레이아웃 추정 정확도를 향상시키는가?
• RQ2 두 개의 서로 다른 뷰 투영 간의 특징 융합이 단일 뷰 네트워크보다 더 나은 일반화 능력과 성능을 제공하는가?
• RQ3 종단 간 딥 러닝 프레임워크는 이전 최신 기술 수준의 방법과 비교해 후처리 최적화 단계에 대한 의존도를 줄일 수 있는가?
• RQ4 제안된 방법은 단순 직육면체를 초과하는 다양한 복잡한 실내 레이아웃을 가진 데이터셋에서 어떻게 성능을 발휘하는가?
• RQ5 대규모이고 다양한 데이터셋(Realtor360)의 포함이 복잡한 레이아웃에서의 모델 일반화 능력과 성능 향상에 어느 정도 기여하는가?

주요 결과

• PanoContext 데이터셋에서 DuLa-Net은 3D IoU 77.42%를 기록하여 LayoutNet의 74.48%를 초월한다.
• Stanford 2D-3D 데이터셋에서 DuLa-Net은 3D IoU 79.36%를 달성하여 LayoutNet의 76.33%를 뛰어넘는다.
• 종단 간 추론 시간은 13.4초/장으로 단축되어 LayoutNet의 43.9초 대비 3.28배 빠르게 된다.
• 절단 실험 결과, 특징 융합을 통한 양 브랜치의 공동 학습이 단일 브랜치 또는 비융합 구성보다 최고의 성능을 내는 것으로 확인되었다.
• 모서리 수가 네 개를 초과하는 실내 공간에서 특히 성능 향상이 두드러져, 복잡한 비직육면체 레이아웃에 대한 뛰어난 능력을 보여준다.
• 실패 사례 분석에서 반사 표면과 큰 가림 물체 처리에 한계가 드러나 향후 연구에서는 물체 의미 정보가 필요할 것으로 보인다.

Figure 2: Our network architecture follows the encoder-decoder scheme and consists of two branches. Given a panorama in equirectangular projection, we additionally create a perspective ceiling-view image through a equirectangular-to-perspective (E2P) conversion. The panorama and the ceiling-view ima