[논문 리뷰] Multi-Resolution Graph Neural Network for Large-Scale Pointcloud Segmentation

Liuyue Xie, Tomotake Furuhata외 1명|arXiv (Cornell University)|2020. 09. 18.

3D Shape Modeling and Analysis참고 문헌 28인용 수 4

한 줄 요약

이 논문은 대규모 포인트 클라우드 의미 분할을 위한 메모리 효율적이고 엔드 투 엔드의 다중 해상도 그래프 신경망인 MuGNet을 제안한다. 조밀한 포인트 클라우드를 기하학적으로 유사한 그룹으로 군집화하고, 다중 해상도 간 특징을 융합하기 위해 이중 방향 그래프 컨volution 네트워크를 사용함으로써, MuGNet은 단일 11GB GPU에서 최대 45개의 실내 스캔을 동시에 처리하며, S3DIS에서 총 정확도 88.5%와 mIOU 69.8%를 달성한다. 이는 이전의 그래프 기반 방법보다 각각 3%와 7.7% 향상된 성능이다.

ABSTRACT

In this paper, we propose a multi-resolution deep-learning architecture to semantically segment dense large-scale pointclouds. Dense pointcloud data require a computationally expensive feature encoding process before semantic segmentation. Previous work has used different approaches to drastically downsample from the original pointcloud so common computing hardware can be utilized. While these approaches can relieve the computation burden to some extent, they are still limited in their processing capability for multiple scans. We present MuGNet, a memory-efficient, end-to-end graph neural network framework to perform semantic segmentation on large-scale pointclouds. We reduce the computation demand by utilizing a graph neural network on the preformed pointcloud graphs and retain the precision of the segmentation with a bidirectional network that fuses feature embedding at different resolutions. Our framework has been validated on benchmark datasets including Stanford Large-Scale 3D Indoor Spaces Dataset(S3DIS) and Virtual KITTI Dataset. We demonstrate that our framework can process up to 45 room scans at once on a single 11 GB GPU while still surpassing other graph-based solutions for segmentation on S3DIS with an 88.5\% (+3\%) overall accuracy and 69.8\% (+7.7\%) mIOU accuracy.

연구 동기 및 목표

• 수십억 개의 포인트를 포함하는 조밀하고 대규모의 포인트 클라우드를 분할하기 위한 높은 메모리 및 계산 요구량을 해결한다.
• 세부 기하학적 세부 정보를 잃는 문제로 인해 정확도가 떨어지는 극단적 다운샘플링 및 슬라이딩 윈도우 방법의 한계를 극복한다.
• 박스나 메esh로 포인트 클라우드를 인위적으로 정렬하는 것을 방지하기 위해 순열 불변 프레임워크를 개발한다.
• 표준 GPU 하드웨어에서 여러 대규모 스캔을 엔드 투 엔드로 실시간으로 처리할 수 있도록 한다.
• 다중 해상도 군집화와 특징 융합를 통해 메모리 사용량을 줄이면서도 세밀한 기하학적 세부 정보를 유지한다.

제안 방법

• 조밀한 포인트 클라우드를 의미적으로 유사한 군집으로 변환하여 GPU 메모리 사용량을 극적으로 줄인다.
• 군집화된 포인트에서 포인트 클라우드 그래프를 구축하고, 포인트 순서에 불변인 그래프 컨volution 네트워크(GCNs)를 적용한다.
• 다양한 해상도 수준의 특징을 전방 및 후방 경로를 통해 융합하는 이중 방향 다중 해상도 융합 네트워크를 구현한다.
• 다중 GCN 레이어에 걸쳐 학습 안정성과 특징 표현 향상을 위해 백본에 잔차 연결을 적용한다.
• 계층적인 포인트 군집 표현을 생성하기 위해 다중 척도 군집 전략을 적용하여 기하학적 맥락 모델링을 향상시킨다.
• S3DIS 및 Virtual KITTI 데이터셋에서 6중 교차 검증 설정을 사용하여 교차 엔트로피 손실을 기반으로 엔드 투 엔드 네트워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 다중 해상도 그래프 신경망은 GPU 메모리 사용량을 최소화하면서도 조밀하고 대규모의 포인트 클라우드에서 고정밀도 의미 분할을 달성할 수 있는가?
• RQ2 다양한 그래프 해상도 간 이중 방향 특징 융합은 단일 해상도 또는 단방향 융합 대비 분할 성능을 어떻게 향상시키는가?
• RQ3 제안된 프레임워크는 정확도를 희생시키지 않고 최대 몇 개의 대규모 스캔을 동시에 처리할 수 있는가?
• RQ4 기하학적 군집화를 통해 다운샘플링에서 잃어버리는 세밀한 세부 정보를 유지하면서도 메모리 소비를 줄일 수 있는가?
• RQ5 백본 네트워크의 깊이가 그래프 컨볼루션 환경에서 특징 품질과 모델 성능에 미치는 영향은 어떠한가?

주요 결과

• MuGNet은 단일 11GB GPU에서 최대 45개의 실내 스캔(평균 260만 개 포인트/스캔)을 처리하여 높은 추론 효율성을 입증한다.
• S3DIS 데이터셋에서 총 정확도 88.5%와 mIOU 69.8%를 달성하여, SPG보다 정확도는 3%p 향상되고 mIOU는 7.7p 향상되었다.
• 절단 실험 결과, 14층을 초과해 백본 깊이를 늘일수록 정보 통합 문제로 인해 성능 저하가 발생함에도 불구하고 메모리 사용량은 증가한다.
• 두 개의 이중 방향 GraphConv 레이어를 스택하면 mIOU가 66.3%로 향상되지만, 최적의 깊이를 가진 전체 MuGNet 구성이 가장 우수한 결과인 69.8% mIOU를 달성한다.
• 이중 방향 융합 메커니즘을 제거할 경우 성능 저하가 발생함으로써, 이는 특징 표현을 풍부하게 하는 데 있어 핵심적인 역할을 한다는 것을 확인한다.
• 사전 군집화를 통해 메모리 요구량을 줄이며 고정밀도를 유지함으로써, 소비자용 하드웨어에서도 대규모 배치 추론을 가능하게 한다.