[논문 리뷰] Bidirectional Projection Network for Cross Dimension Scene Understanding

Wenbo Hu, Hengshuang Zhao외 3명|arXiv (Cornell University)|2021. 03. 26.

3D Shape Modeling and Analysis참고 문헌 70인용 수 4

한 줄 요약

이 논문은 2D 이미지와 3D 포인트 클라우드 간의 이중 방향 특징 상호작용을 다중 피라미드 수준에서 가능하게 하는 이중 투영 모듈(BPM)을 통해, 엔드 투 엔드 프레임워크인 이중 투영 네트워크(BPNet)를 제안한다. 2D 및 3D 세분화를 공동 최적화함으로써 BPNet는 ScanNetV2 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 2D 및 3D mIoU 점수 모두에서 단일 모odal 기반선을 능가한다.

ABSTRACT

2D image representations are in regular grids and can be processed efficiently, whereas 3D point clouds are unordered and scattered in 3D space. The information inside these two visual domains is well complementary, e.g., 2D images have fine-grained texture while 3D point clouds contain plentiful geometry information. However, most current visual recognition systems process them individually. In this paper, we present a \emph{bidirectional projection network (BPNet)} for joint 2D and 3D reasoning in an end-to-end manner. It contains 2D and 3D sub-networks with symmetric architectures, that are connected by our proposed \emph{bidirectional projection module (BPM)}. Via the \emph{BPM}, complementary 2D and 3D information can interact with each other in multiple architectural levels, such that advantages in these two visual domains can be combined for better scene recognition. Extensive quantitative and qualitative experimental evaluations show that joint reasoning over 2D and 3D visual domains can benefit both 2D and 3D scene understanding simultaneously. Our \emph{BPNet} achieves top performance on the ScanNetV2 benchmark for both 2D and 3D semantic segmentation. Code is available at \url{https://github.com/wbhu/BPNet}.

연구 동기 및 목표

• 이중 방향 융합의 한계를 해결하기 위해 2D-3D 장면 이해에서 이중 방향 특징 상호작용을 가능하게 한다.
• 2D 이미지(텍스처)와 3D 포인트 클라우드(기하학)의 상보적 정보를 활용하여 공동 장면 인식을 향상시킨다.
• 다양한 아키텍처 수준에서 2D 및 3D 추론을 통합하는 확장 가능한 엔드 투 엔드 프레임워크를 개발한다.
• 이중 방향 특징 흐름이 2D 및 3D 세분화 성능 향상에 기여하는지 입증한다.
• 순수 3D 장면을 초월하여 2.5D RGB-D 데이터로의 일반화 능력을 검증한다.

제안 방법

• 균형 잡힌 특징 학습을 보장하기 위해 2D 및 3D 브랜치 모두에 대칭적인 U-Net 기반 아키텍처를 설계한다.
• 다중 피라미드 수준에서 2D 및 3D 특징 맵 간의 학습 가능한 투영 연결을 수립하기 위해 이중 투영 모듈(BPM)을 도입한다.
• BPM의 학습된 링크 행렬을 사용하여 2D 특징을 3D 공간으로, 3D 특징을 2D 공간으로 이중 방향 특징 전이를 수행한다.
• 다중 디코더 수준에서 BPM을 적용하여 2D 및 3D 특징 간의 상호보완적인 코arse-to-fine 융합을 가능하게 한다.
• 다중 시야 2D 이미지와 3D 포인트 클라우드를 입력으로 사용하며, 3D 처리를 위해 깊이 맵을 3D 포인트 클라우드로 변환한다.
• 2D 및 3D 세분화 작업 모두에 대해 교차 엔트로피 손실을 사용하여 전체 네트워크를 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 2D 및 3D 표현 간의 이중 방향 특징 상호작용이 단일 방향 융합을 초월하여 공동 장면 이해를 향상시킬 수 있는가?
• RQ2 BPM를 통한 다중 수준, 코어스 투 파인 특징 융합이 2D 및 3D 세분화 성능에 어떤 영향을 미치는가?
• RQ3 공동 학습 프레임워크에서 3D 기하학이 2D 세분화를 얼마나 향상시킬 수 있으며, 반대로 2D 세분화는 3D 세분화에 얼마나 기여하는가?
• RQ4 제안된 BPNet는 순수 3D 장면을 초월하여 2.5D RGB-D 데이터(예: NYUv2)로 일반화되는가?
• RQ5 공동 2D-3D 성능을 최대화하기 위해 최적의 2D 시야 수와 벽체 크기(Voxel size)는 얼마인가?

주요 결과

• BPNet는 2cm 벽체 크기를 사용하여 ScanNetV2에서 2D mIoU 71.9% 및 3D mIoU 73.9%를 달성하며, 모든 단일 모달 및 기반선 융합 방법을 능가한다.
• 단일 2D 시야만으로도 BPNet는 최고의 2D mIoU(66.5%)를 기록하여, 최소한의 2D 입력이라도 3D 가이던스의 이점을 얻을 수 있음을 시사한다.
• 3개의 2D 시야까지 2D 시야 수가 증가함에 따라 3D mIoU가 증가하여 최고 70.6%에 도달하며, 이는 과잉 정보 이전에 최적의 정보 수확이 이루어짐을 시사한다.
• 벽체 크기를 5cm에서 2cm로 감소시켰을 때, 3D 전용 기반선의 3D mIoU는 68.0%에서 72.1%로 5.9%p 향상되었고, BPNet와 결합 시 2D mIoU는 10.4%p 향상되었다.
• NYUv2에서 BPNet는 73.5%의 고밀도 픽셀 분류 정확도를 달성하여 3DMV(71.2%) 및 기타 RGB-D 기반선을 능가하며, 2.5D 데이터로의 강력한 일반화 능력을 입증한다.
• 정성적 결과는 이중 방향 특징 정밀 조정 덕분에 2D 세분화에서 경계 선명도 향상과 3D 세분화에서 형태가 유사한 물체(예: 벽 vs. 그림)의 더 나은 구분이 이루어짐을 보여준다.