[논문 리뷰] Cascaded Non-local Neural Network for Point Cloud Semantic Segmentation

Mingmei Cheng, Le Hui외 3명|arXiv (Cornell University)|2020. 07. 30.

3D Shape Modeling and Analysis참고 문헌 29인용 수 5

한 줄 요약

이 논문은 포인트 클라우드의 의미적 세그멘테이션을 위한 계층적 비국소 연산을 통해 장거리 의존성을 포착하는 계층적 비국소 신경망(PointNL)을 제안한다. 이러한 비국소 연산을 계층적으로 연결함으로써, 기준 비국소 네트워크에 비해 계산 비용과 GPU 메모리 사용량을 줄이며 최신 기준 mIoU 성능을 달성한다.

ABSTRACT

In this paper, we propose a cascaded non-local neural network for point cloud segmentation. The proposed network aims to build the long-range dependencies of point clouds for the accurate segmentation. Specifically, we develop a novel cascaded non-local module, which consists of the neighborhood-level, superpoint-level and global-level non-local blocks. First, in the neighborhood-level block, we extract the local features of the centroid points of point clouds by assigning different weights to the neighboring points. The extracted local features of the centroid points are then used to encode the superpoint-level block with the non-local operation. Finally, the global-level block aggregates the non-local features of the superpoints for semantic segmentation in an encoder-decoder framework. Benefiting from the cascaded structure, geometric structure information of different neighborhoods with the same label can be propagated. In addition, the cascaded structure can largely reduce the computational cost of the original non-local operation on point clouds. Experiments on different indoor and outdoor datasets show that our method achieves state-of-the-art performance and effectively reduces the time consumption and memory occupation.

연구 동기 및 목표

• 비정규적이고 순서가 없는 3차원 포인트 클라우드에서 장거리 문맥적 의존성을 효과적으로 포착하기 위한 과제를 해결하기 위해.
• 포인트 클라우드에서 표준 비국소 연산의 높은 계산 비용과 메모리 소비 문제를 줄이기 위해.
• 이웃, 슈퍼포인트, 전역 수준의 다중 척도에서 기하학적 구조 정보를 전파함으로써 특징의 구분 능력을 향상시키기 위해.
• 효율적인 학습과 추론을 통해 포인트 클라우드 의미적 세그멘테이션 분야에서 최신 기준 성능을 달성하기 위해.

제안 방법

• 이 방법은 세 단계의 비국소 연산을 포함하는 계층적 비국소 모듈을 도입한다: 이웃 수준, 슈퍼포인트 수준, 전역 수준 비국소 연산.
• 이웃 수준에서 비국소 연산은 중심점의 k개 이웃 포인트 간의 어텐션 가중치를 계산하여 국소 특징을 강화한다.
• 슈퍼포인트 수준에서 비국소 연산은 기하학적 특성이 등방향인 영역인 슈퍼포인트 간 특징을 학습된 어텐션을 통해 집계한다.
• 전역 수준에서 모델은 모든 슈퍼포인트의 비국소 특징을 집계하여 전체 포인트 클라우드에 걸친 장거리 의존성을 포착한다.
• 이 프레임워크는 PointNet++을 영감으로 삼은 인코더-디코더 아키텍처에 계층적 비국소 모듈을 통합하여 엔드 투 엔드 의미적 세그멘테이션을 구현한다.
• 계층적 설계는 비국소 연산을 점점 더粗い 척도로 제한함으로써 계산 복잡도를 감소시켜 전체 포인트 클라우드 계산을 피한다.

실험 결과

연구 질문

• RQ1 비국소 메커니즘을 계층적으로 적용하여 포인트 클라우드 데이터에서 장거리 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 이웃, 슈퍼포인트, 전역 수준에서 다중 척도로 비국소 연산을 계층적으로 연결함으로써 세그멘테이션 정확도와 계산 효율성에 어떤 영향을 미치는가?
• RQ3 계층적 비국소 모듈은 표준 비국소 네트워크의 메모리 및 시간 오버헤드를 어느 정도 줄일 수 있는가?
• RQ4 제안된 방법은 자원 소비를 줄이면서도 기존 최신 기준 모델보다 mIoU 측면에서 뛰어난 성능을 보일 수 있는가?

주요 결과

• S3DIS 데이터셋에서 PointNL은 Area 5에서 mIoU 63.50%를 달성하여 기준 비국소 방법(54.76%)과 PointWeb(60.28%)를 모두 초월했다.
• ScanNet 데이터셋에서 PointNL은 기준 모델 대비 mIoU 5.6%의 절대적 향상을 보이며 실내 환경에서 뛰어난 성능을 입증했다.
• 대규모 SemanticKITTI 데이터셋에서 PointNL은 mIoU 52.2%를 기록하여 PointNet++(20.1%)과 DarkNet53Seg(49.9%)를 뛰어넘었으며, 실외 환경에서도 뛰어난 강건성을 보였다.
• 학습 시간은 기준 비국소 모델의 6일에서 1.8일로 감소했고, GPU 메모리 사용량은 60GB에서 8GB로 감소하여 효율성이 크게 향상되었다.
• 배치당 추론 시간은 PointWeb의 1.5초에서 0.35초로 단축되어 더 빠른 추론과 뛰어난 모델 효율성을 입증했다.
• 제거 실험 결과, 모든 세 수준(이웃, 슈퍼포인트, 전역)에 비국소 연산을 추가한 PointNL 123가 가장 높은 mIoU(63.50%)를 기록했으며, 각 단계에서 점진적인 성능 향상이 확인되었다.