[논문 리뷰] Point Attention Network for Semantic Segmentation of 3D Point Clouds

Mingtao Feng, Liang Zhang외 3명|arXiv (Cornell University)|2019. 09. 27.

3D Shape Modeling and Analysis참고 문헌 52인용 수 16

한 줄 요약

이 논문은 3D 포인트 클라우드의 의미적 세그멘테이션을 위한 포인트 어텐션 네트워크(PAN)를 제안한다. 이 네트워크는 국소 어텐션-엣지 컨볼루션(LAE-Conv) 레이어와 포인트와 관련된 공간 어텐션 모듈을 결합한다. LAE-Conv는 방향성 네ighboring 그래프를 구축하고 기하학적 불변성을 갖는 학습 가능한 어텐션을 사용해 특징을 집계하며, 공간 어텐션 모듈은 장거리 종속성을 포착한다. 이 방법은 S3DIS 및 ShapeNet 벤치마크에서 최신 기술 수준의 성능을 달성하여 이전의 방법들보다 핵심 지표에서 뛰어난 성능을 보였다.

ABSTRACT

Convolutional Neural Networks (CNNs) have performed extremely well on data represented by regularly arranged grids such as images. However, directly leveraging the classic convolution kernels or parameter sharing mechanisms on sparse 3D point clouds is inefficient due to their irregular and unordered nature. We propose a point attention network that learns rich local shape features and their contextual correlations for 3D point cloud semantic segmentation. Since the geometric distribution of the neighboring points is invariant to the point ordering, we propose a Local Attention-Edge Convolution (LAE Conv) to construct a local graph based on the neighborhood points searched in multi-directions. We assign attention coefficients to each edge and then aggregate the point features as a weighted sum of its neighbors. The learned LAE-Conv layer features are then given to a point-wise spatial attention module to generate an interdependency matrix of all points regardless of their distances, which captures long-range spatial contextual features contributing to more precise semantic information. The proposed point attention network consists of an encoder and decoder which, together with the LAE-Conv layers and the point-wise spatial attention modules, make it an end-to-end trainable network for predicting dense labels for 3D point cloud segmentation. Experiments on challenging benchmarks of 3D point clouds show that our algorithm can perform at par or better than the existing state of the art methods.

연구 동기 및 목표

• 기존 3D 포인트 클라우드 세그멘테이션 방법이 국소 기하학적 세부 정보와 장거리 맥락적 관계를 동시에 포착하는 데에 한계가 있음을 해결하기 위해.
• 비순서적이고 불규칙한 포인트 클라우드에서 국소 포인트 관계를 효과적으로 모델링할 수 있는 학습 가능한, 순열 불변성 메커니즘을 개발하기 위해.
• 새로운 어텐션 기반 아키텍처를 통해 국소 및 글로벌 맥락적 특징을 통합하여 의미적 세그멘테이션 정확도를 향상시키기 위해.
• 다양한 3D 환경와 물체 유형에 일반화할 수 있는 계층적이고 종단 간 훈련 가능한 네트워크를 설계하기 위해.
• S3DIS 및 ShapeNet과 같은 표준 3D 포인트 클라우드 벤치마크에서 기존 최신 기술 수준의 방법들을 능가하기 위해.

제안 방법

• 구형 쿼리 내에서 다중 방향의 이웃 탐색을 사용해 국소 그래프를 구축하는 국소 어텐션-엣지 컨볼루션(LAE-Conv) 레이어를 제안하며, 이는 기하학적 일반화를 향상시킨다.
• 국소 그래프의 엣지에 학습 가능한 어텐션 계수를 할당하고, 이웃의 가중 평균으로 특징을 집계함으로써 특징 표현의 강건성을 향상시킨다.
• 포인트 순서에 독립적인 LAE-Conv 레이어를 설계하여 순열 불변성을 확보하며, 순서가 없는 국소 이웃에 대한 어텐션을 활용한다.
• 모든 포인트 간의 전역 종속성 행렬을 계산하는 포인트와 관련된 공간 어텐션 모듈을 도입하여, 국소 수신 영역을 초월한 장거리 공간 상관관계를 모델링한다.
• LAE-Conv 레이어와 공간 어テン션 모듈을 U자형 인코더-디코더 아키텍처에 통합하여 종단 간 훈련과 밀도 있는 예측을 가능하게 한다.
• 계층적 레이어를 통해 다중 스케일 특징 학습을 수행하며, 더 깊은 레이어는 점점 더 큰 수신 영역과 추상화된 특징을 포착한다.

실험 결과

연구 질문

• RQ1 다중 방향 국소 그래프에 대한 학습 가능한 어텐션 메커니즘이 비정규적인 3D 포인트 클라우드에서 국소 특징 표현을 향상시킬 수 있는가?
• RQ2 포인트와 관련된 공간 어텐션 모듈이 3D 포인트 클라우드에서 먼 포인트 간의 장거리 종속성을 효과적으로 모델링할 수 있는가?
• RQ3 국소 어텐션과 글로벌 공간 어텐션을 결합하면 기존 방법들보다 더 나은 의미적 세그멘테이션 성능을 달성할 수 있는가?
• RQ4 제안된 LAE-Conv 및 어텐션 모듈이 종단 간 훈련과 추론을 위한 U자형 네트워크에 효과적으로 통합될 수 있는가?
• RQ5 제안된 방법은 표준 3D 포인트 클라우드 세그멘테이션 벤치마크에서 최신 기술 수준의 모델들과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 포인트 어텐션 네트워크는 S3DIS 데이터셋에서 평균 교차율(mIoU) 85.5%를 달성하여 이전 최신 기술 수준의 방법들을 능가했다.
• ShapeNet 데이터셋에서는 파트 평균 IoU 84.10%와 카테고리 평균 IoU 82.8%를 기록하여 대부분의 카테고리에서 최고 수준에 속했다.
• 이어폰, 램프, 모터, 로켓 등의 특정 카테고리에서 가장 높은 성능를 기록했으며, 특히 데이터 포인트 수가 적은 경우에 유리함을 보였다.
• 제거 실험을 통해 LAE-Conv와 공간 어텐션 모듈이 성능 향상에 크게 기여하는 것으로 확인되었으며, 특히 후자는 장거리 맥락 모델링을 향상시켰다.
• 다양한 3D 환경와 물체 유형에 걸쳐 잘 일반화되며, 대규모 벤치마크에서 강건성과 확장성을 입증했다.
• S3DIS 및 ShapeNet 양쪽 모두에서 최신 기술 수준의 결과를 달성하여, 제안된 어텐션 기반 아키텍처의 효과성을 입증했다.