[논문 리뷰] Small but Mighty: Enhancing 3D Point Clouds Semantic Segmentation with U-Next Framework

Ziyin Zeng, Qingyong Hu외 3명|arXiv (Cornell University)|2023. 04. 03.

3D Shape Modeling and Analysis참고 문헌 83인용 수 4

한 줄 요약

이 논문은 3D 포인트 클라우드 세분화 성능을 햖스리기 위해 중첩되고 밀집 연결된 방식으로 다수의 U-Net $L^1$ 하위 네트워크를 스택하여 의미적 갭을 최소화하는 새로운 경량 3D 포인트 클라우드 의미 세분화 프레임워크인 U-Next를 제안한다. 다중 척도 특징을 융합하고 다중 수준의 딥 서포비전을 적용함으로써 U-Next는 S3DIS, Toronto3D, SensatUrban에서 최신 기술 수준(SOTA) 성능을 달성하였으며, S3DIS Area 5에서 68.3%의 mIoU를 기록하여 U-Net 및 U-Net++보다 일관된 성능 향상을 보였다.

ABSTRACT

We study the problem of semantic segmentation of large-scale 3D point clouds. In recent years, significant research efforts have been directed toward local feature aggregation, improved loss functions and sampling strategies. While the fundamental framework of point cloud semantic segmentation has been largely overlooked, with most existing approaches rely on the U-Net architecture by default. In this paper, we propose U-Next, a small but mighty framework designed for point cloud semantic segmentation. The key to this framework is to learn multi-scale hierarchical representations from semantically similar feature maps. Specifically, we build our U-Next by stacking multiple U-Net $L^1$ codecs in a nested and densely arranged manner to minimize the semantic gap, while simultaneously fusing the feature maps across scales to effectively recover the fine-grained details. We also devised a multi-level deep supervision mechanism to further smooth gradient propagation and facilitate network optimization. Extensive experiments conducted on three large-scale benchmarks including S3DIS, Toronto3D, and SensatUrban demonstrate the superiority and the effectiveness of the proposed U-Next architecture. Our U-Next architecture shows consistent and visible performance improvements across different tasks and baseline models, indicating its great potential to serve as a general framework for future research.

연구 동기 및 목표

• 기존의 U-Net 기반 프레임워크가 3D 포인트 클라우드 세분화에서 인코더와 디코더 특징 간의 의미적 갭을 가지는 한계를 해결하기 위해.
• 표준 U-Net 아키텍처에서의 과도한 다운샘플링과 업샘플링으로 인한 노이즈 누적 문제를 줄이기 위해.
• 다양한 척도 간 의미적 불일치를 최소화함으로써 특징 융합과 최적화를 향상시키기 위해.
• 대규모 3D 포인트 클라우드 세분화에 적합한 일반적이고 효과적이며 가벼운 프레임워크를 개발하기 위해.

제안 방법

• U-Next는 각각 하나의 다운샘플링과 하나의 업샘플링 작업만 수행하는 다수의 U-Net $L^1$ 하위 네트워크를 중첩하고 밀집 연결된 방식으로 스택하여 의미적 갭과 노이즈를 최소화한다.
• 프레임워크는 척도 간 반복적이고 계층적인 특징 융합을 가능하게 하는 중첩된 밀집 배열 아키텍처를 사용한다.
• 각 디코더 노드에서 다중 수준의 딥 서포비전을 적용하여 학습 안정성과 기울기 흐름을 향상시킨다.
• 각 $L^1$ 하위 네트워크의 대응 인코더 및 디코더 레이어 간에 장거리 스케일 커넥션을 사용하여 공간적 및 의미적 일관성을 유지한다.
• 다양한 척도의 특징 맵은 연결 및 컨볼루션 연산을 통해 세밀한 세부 사항을 복구한다.
• 과적합과 계산 비용을 줄이기 위해 밀집 스케일 커넥션을 회피하고, 간단하면서도 효과적인 장거리 스케일 커넥션을 선호한다.

Figure 1 : Performance of various algorithms on S3DIS dataset (Area 5) with different frameworks. Our U-Next framework demonstrated a notable advantage over both U-Net and U-Net++.

실험 결과

연구 질문

• RQ1 간소화된 U-Net $L^1$ 하위 네트워크를 효과적으로 스택하여 3D 포인트 클라우드 의미 세분화를 향상시킬 수 있는가?
• RQ2 인코더와 디코더 특징 간의 의미적 갭을 최소화하면 기존 U-Net 또는 U-Net++보다 3D 포인트 클라우드에서 더 나은 성능을 내는가?
• RQ3 전체 해상도 또는 측면 감시와 비교할 때 다중 수준의 딥 서포비전은 3D 세분화 네트워크 최적화에 어떻게 더 효과적인가?
• RQ4 제안된 중첩된 계층적 융합 메커니즘은 3D 포인트 클라우드 세분화에서 밀집 스케일 커넥션보다 더 효과적인가?
• RQ5 U-Next는 S3DIS, Toronto3D, SensatUrban과 같은 다양한 대규모 3D 벤치마크에서 일반화 가능한가?

주요 결과

• U-Next는 S3DIS Area 5에서 68.3%의 mIoU를 기록하여 베이스라인인 RandLA-Net을 초월하고 U-Net 및 U-Net++보다 일관된 성능 향상을 보였다.
• 추론 실험을 통해 다중 수준의 딥 서포비전이 전체 해상도 또는 측면 감시만을 사용하는 것보다 더 우수한 성능을 낸다는 것이 확인되었다.
• U-Next에서 장거리 스케일 커넥션을 사용함으로써 밀집 스케일 커넥션과 유사한 성능를 달성하면서도 파rameter 수를 줄이고 과적합 위험을 낮출 수 있었다.
• S3DIS, Toronto3D, SensatUrban에서의 시각적 비교 결과, U-Next는 더 선명하고 정확한 경계를 생성하며 레일링, 횡단보도, 철도선과 같은 복잡한 구조를 더 잘 처리하는 것으로 나타났다.
• 다양한 포인트 클라우드 밀도와 객체 분포를 가진 다양한 데이터셋에서 U-Next는 뛰어난 강건성과 일반화 능력을 보였다.
• 복잡한 아키텍처 없이도 최신 기술 수준 성능를 달성함으로써, 최소한의 의미적 갭과 효과적인 특징 융합이 고정밀도를 위한 핵심 요소임을 입증하였다.

Figure 2 : Illustration of the proposed U-Next and U-Net $L^{1}$ . (A) The detailed architecture of the proposed U-Next. (B) The U-Net $L^{1}$ sub-network with deep supervision. FC: Fully Connected layer; DP: Dropout; Deep Sup.: Deep Supervision.