[논문 리뷰] Semantic Segmentation for Point Cloud Scenes via Dilated Graph Feature Aggregation and Pyramid Decoders

Yongqiang Mao, Xian Sun외 5명|arXiv (Cornell University)|2022. 04. 11.

3D Shape Modeling and Analysis인용 수 7

한 줄 요약

이 논문은 확장된 그래프 컨볼루션을 활용한 다중 수신장치 특징 집합과 다층 기반 집합 손실(MALoss)을 통합한 새로운 포인트 클라우드 세분화 프레임워크인 DGFA-Net을 제안한다. 이는 유사한 공간 구조를 가진 인스턴스의 구분 능력을 향상시키기 위해 설계되었으며, S3DIS, ShapeNetPart, Toronto-3D에서 최신 기준 성능(SOTA)을 달성한다. mIoU는 61.8%에서 65.8%로 향상되었고, OA는 88.94%에서 94.78%로 상승하였다.

ABSTRACT

Semantic segmentation of point clouds generates comprehensive understanding of scenes through densely predicting the category for each point. Due to the unicity of receptive field, semantic segmentation of point clouds remains challenging for the expression of multi-receptive field features, which brings about the misclassification of instances with similar spatial structures. In this paper, we propose a graph convolutional network DGFA-Net rooted in dilated graph feature aggregation (DGFA), guided by multi-basis aggregation loss (MALoss) calculated through Pyramid Decoders. To configure multi-receptive field features, DGFA which takes the proposed dilated graph convolution (DGConv) as its basic building block, is designed to aggregate multi-scale feature representation by capturing dilated graphs with various receptive regions. By simultaneously considering penalizing the receptive field information with point sets of different resolutions as calculation bases, we introduce Pyramid Decoders driven by MALoss for the diversity of receptive field bases. Combining these two aspects, DGFA-Net significantly improves the segmentation performance of instances with similar spatial structures. Experiments on S3DIS, ShapeNetPart and Toronto-3D show that DGFA-Net outperforms the baseline approach, achieving a new state-of-the-art segmentation performance.

연구 동기 및 목표

• 수신장치의 유일성으로 인해 유사한 공간 구조를 가진 인스턴스를 잘못 분류하는 문제를 해결하기 위해.
• 고정된 KNN 기반 수신장치가 다중 척도 국소 관계 학습을 제한하는 한계를 극복하기 위해.
• 확장된 그래프와 다중 해상도 포인트 세트를 계산 기반으로 사용하여 다중 수신장치 특징을 체계적으로 표현하는 방법을 제안하기 위해.
• 새로운 다층 기반 집합 손실(MALoss)을 통해 다중 수신장치 기반에서 특징 표현을 최적화하여 특징 계층의 향상과 수신장치 커버리지 강화를 위해.
• 특히 벽과 보드와 같이 구분하기 어려운 평면 인스턴스에 대해 표준 벤치마크에서 최고 성능을 달성하기 위해.

제안 방법

• 가변 가능한 확장률을 가진 희소 KNN 검색 전략을 사용하여 희소하고 확장된 그래프를 구성하는 확장된 그래프 컨볼루션(DGConv)을 제안하여 다중 척도 수신장치를 포괄한다.
• DGConv를 사용해 다양한 확장률과 수신장치 영역에서 특징을 집계하는 핵심 구성 요소인 확장된 그래프 특징 집합(DGFA) 모듈을 설계한다.
• 다양한 해상도 수준의 특징을 디코딩하는 피라미드 디코더를 구현하며, 각 디코더는 수신장치 계산 기반으로 사용되는 별도의 포인트 세트 해상도에 대응한다.
• 피라미드 디코더의 출력 간 격차를 보상함으로써 다중 척도 특징 학습의 다양성과 강건성을 유도하는 다층 기반 집합 손실(MALoss)을 도입한다.
• 특징 전파 및 재사용을 향상시키기 위해 DGFA 내부에 밀집된 스킵 연결을 통합하여 특징 계층 구조와 수신장치 커버리지의 향상을 도모한다.
• 다중 척도 DGConv 출력을 결합하기 위해 연결 기반 집합 함수를 사용하였으며, 이는 경험적으로 가장 높은 성능을 보임을 입증하였다.

실험 결과

연구 질문

• RQ1 유사한 공간 구조를 가진 포인트 클라우드 인스턴스(예: 인접한 평면 물체)의 세분화 성능을 다중 수신장치 특징이 크게 향상시킬 수 있는가?
• RQ2 다양한 해상도의 포인트 세트를 수신장치 계산 기반으로 사용할 경우 특징 표현과 세분화 정확도에 어떤 영향을 미치는가?
• RQ3 포인트 클라우드 세분화에서 다양한 수신장치를 포괄하기 위한 최적의 확장률 조합은 무엇인가?
• RQ4 다층 기반 집합 손실(MALoss)이 유사한 인스턴스를 구분하는 네트워크의 능력을 어느 정도 향상시키는가?
• RQ5 DGFA와 같은 효율적인 모듈을 갖춘 얕은 네트워크가 더 깊고 무거운 모델에 비해 파rameter 수를 줄이며 최고 성능을 달성할 수 있는가?

주요 결과

• DGFA-Net은 S3DIS 데이터셋에서 새로운 최고 성능 mIoU 65.8%를 달성하였으며, 기준 방법 대비 3.2% 향상된 성능을 보였다.
• MALoss와 DGFA 내부의 밀집 연결을 결합함으로써 mIoU가 61.8%에서 65.8%로 상승하여, 두 구성 요소의 효과를 입증하였다.
• 최적의 확장 조합은 {1, 2, 4, 8}이며, 이 조합에서 mIoU가 65.8%로 최고 수준에 도달하여 더 많은 수신장치 스케일이 특징 다양성을 향상시킴을 시사한다.
• DGConv 출력에 대해 연결을 사용한 집합 함수가 다른 집합 전략보다 뛰어난 성능을 보였으며, 최고의 성능을 기록하였다.
• DGConv에서 최적의 샘플링 간격 Δ = 4는 희소성과 특징 풍부성 사이의 최적 균형을 이룩하여 가장 높은 mIoU를 달성하였다.
• DGFA-Net은 많은 기존 방법들에 비해 더 적은 파라미터로 뛰어난 성능을 달성하여, 얕은 아키텍처임에도 불구하고 실용적이고 효율적임을 입증하였다.