[논문 리뷰] GFNet: Geometric Flow Network for 3D Point Cloud Semantic Segmentation

Haibo Qiu, Baosheng Yu외 1명|arXiv (Cornell University)|2022. 07. 06.

3D Surveying and Cultural Heritage인용 수 25

한 줄 요약

GFNet은 범위 뷰와 BEV 투영 간의 양방향 기하학적 흐름을 학습하여 다중 뷰 특징을 융합하고 3D 포인트 클라우드 의미 분할을 개선하는 최첨단 결과를 프로젝션 기반 모델들 중에서 달성합니다.

ABSTRACT

Point cloud semantic segmentation from projected views, such as range-view (RV) and bird's-eye-view (BEV), has been intensively investigated. Different views capture different information of point clouds and thus are complementary to each other. However, recent projection-based methods for point cloud semantic segmentation usually utilize a vanilla late fusion strategy for the predictions of different views, failing to explore the complementary information from a geometric perspective during the representation learning. In this paper, we introduce a geometric flow network (GFNet) to explore the geometric correspondence between different views in an align-before-fuse manner. Specifically, we devise a novel geometric flow module (GFM) to bidirectionally align and propagate the complementary information across different views according to geometric relationships under the end-to-end learning scheme. We perform extensive experiments on two widely used benchmark datasets, SemanticKITTI and nuScenes, to demonstrate the effectiveness of our GFNet for project-based point cloud semantic segmentation. Concretely, GFNet not only significantly boosts the performance of each individual view but also achieves state-of-the-art results over all existing projection-based models. Code is available at \url{https://github.com/haibo-qiu/GFNet}.

연구 동기 및 목표

• RV와 BEV 간의 기하학적 대응 관계를 활용하여 vanilla late fusion에 의존하지 않고 프로젝션 기반 포인트 클라우드 분할을 개선하려는 동기 부여.
• RV와 BEV 간 정보를 양방향으로 전파하는 기하학적 흐름 모듈을 가진 GFNet을 엔드 투 엔드 프레임워크로 제안.
• KPConv를 KNN 포스트 프로세싱 대신 사용하여 RV/BEV의 두 가지 분기 아키텍처에서 엔드 투 엔드 학습 가능성을 확보.
• SemanticKITTI와 nuScenes와 같은 대규모 벤치마크에서 효과를 입증하고 프로젝션 기반 모델들 간 최첨단 결과를 달성합니다.

제안 방법

• 두 분기 네트워크 아키텍처가 RV 및 BEV 입력을 인코더-디코더 백본으로 처리합니다.
• Geometric Flow Module (GFM)은 뷰 간 변환을 이용해 RV와 BEV 간 기하학적 정렬을 수행합니다.
• GFM은 정렬된 특징을 대상 특징과 자기 주의(self-attention) 및 잔차 연결을 통해 결합하는 어텐션 융합 단계를 포함합니다.
• 원시 포인트 클라우드를 다리로 사용하여 뷰 간 변환 행렬을 계산하는 기하학적 정렬을 수행합니다.
• KNN을 대체하여 엔드-투-엔드 학습이 가능하도록 GFNet 위에 KPConv를 사용합니다.
• 손실은 2D 및 3D 감독을 결합하여 Lovasz-Softmax와 교차 엔트로피 항을 통해 모든 구성요소를 엔드-투-엔드로 학습합니다.

실험 결과

연구 질문

• RQ1 RV와 BEV 간의 기하학적 대응 관계를 활용해 포인트 클라우드 분할을 위한 교차 뷰 정보 전달을 향상시킬 수 있는가?
• RQ2 RV와 BEV 간의 양방향 기하학적 흐름이 vanilla late fusion과 비교해 각 뷰의 표현과 전체 융합을 개선하는가?
• RQ3 GFM의 어텐션 기반 융합이 분할 성능에 어떤 영향을 미치는가?
• RQ4 GFNet은 기존의 프로젝션 기반 방법들과 비교해 대규모 벤치마크인 SemanticKITTI와 nuScenes에서 어떻게 성능을 보이는가?
• RQ5 KPConv를 이용한 엔드-투-엔드 학습이 다중 뷰 프로젝션 기반 분할에 효과적인가?

주요 결과

• GFNet은 SemanticKITTI 검증에서 모든 비교 대상 프로젝션 기반 모델보다 향상된 mIoU를 달성합니다.
• RV-Single 및 BEV-Single 분기 모두 GFM을 도입함으로써 성능이 크게 향상되며 뷰 간 흐름을 허용할 때 더 큰 이득이 있습니다.
• RV-Flow와 BEV-Flow는 강력한 교차 뷰 개선을 보이며 KPConv과의 연결(concatenation)이 최고의 GFNet 성능을 제공합니다.
• GFM의 어텐션(softmax)은 sigmoid 대비 미미한 이득을 제공하고 융합 효과를 향상시킵니다.
• 2D와 3D 감독을 함께 사용하여 jointly 학습(λ 구성)하는 것이 최상의 결과를 낳으며 엔드-투-엔드 최적화가 성능을 높입니다.