[논문 리뷰] Exploiting Local and Global Structure for Point Cloud Semantic Segmentation with Contextual Point Representations

Xu Wang, Jingming He외 1명|arXiv (Cornell University)|2019. 11. 12.

3D Shape Modeling and Analysis참고 문헌 28인용 수 24

한 줄 요약

이 논문은 문맥적 포인트 표현, 그래프 어텐션을 갖춘 그래프 포인트넷 모듈, 그리고 공간/채널별 어テン션을 통해 국소적 및 전역적 구조 모델링을 향상시키는 새로운 포인트 클라우드 세분화 모델인 ELGS를 제안한다. S3DIS와 ScanNet에서 최신 기준 성능을 달성하며, S3DIS에서 88.43% mIoU, ScanNet에서 60.06% mIoU를 기록하여 기존 방법을 능가하면서도 빠른 추론 시간을 유지한다.

ABSTRACT

In this paper, we propose one novel model for point cloud semantic segmentation, which exploits both the local and global structures within the point cloud based on the contextual point representations. Specifically, we enrich each point representation by performing one novel gated fusion on the point itself and its contextual points. Afterwards, based on the enriched representation, we propose one novel graph pointnet module, relying on the graph attention block to dynamically compose and update each point representation within the local point cloud structure. Finally, we resort to the spatial-wise and channel-wise attention strategies to exploit the point cloud global structure and thereby yield the resulting semantic label for each point. Extensive results on the public point cloud databases, namely the S3DIS and ScanNet datasets, demonstrate the effectiveness of our proposed model, outperforming the state-of-the-art approaches. Our code for this paper is available at https://github.com/fly519/ELGS.

연구 동기 및 목표

• 희소하고 순서가 없는 포인트 클라우드에서 3D 세분화 문제를 해결하기 위해 국소적 정보를 통합한 포인트 표현을 향상시키는 것.
• 간단한 포인트 분할을 초월해 복잡한 국소적 구조를 모델링함으로써 국소적 특징 학습을 향상시키는 것.
• 멀리 떨어진 포인트 간의 전역적 관계를 명시적으로 활용하여 세분화 정확도를 향상시키는 것.
• 낮은 계산 비용으로 높은 성능을 유지하는 효율적인 아키텍처를 설계하는 것.

제안 방법

• 포인트의 자체 특징과 이웃 영역을 새로운 게이트드 퓨전 메커니즘을 통해 융합하는 문맥적 표현 모듈을 도입한다.
• 국소적 이웃 내에서 포인트 특징을 동적으로 업데이트하기 위해 그래프 어텐션 블록을 사용하는 그래프 포인트넷 모듈(GPM)을 제안한다.
• 전체 포인트 클라우드에 걸쳐 장거리 의존성과 전역적 맥락을 모델링하기 위해 공간별 및 채널별 어텐션 메커니즘을 활용한다.
• 국소적 스케일에서 전역적 스케일로 점진적으로 압축된 고수준 표현을 구축하기 위해 GPM의 계층적 스택을 사용한다.
• 모든 구성 요소를 통합하여 포인트 클라우드 세분화를 위한 엔드 투 엔드 훈련 가능한 프레임워크로 통합한다.
• 특징 학습에서 국소적 세부 사항과 전역적 맥락의 균형을 맞추기 위해 다중 척도 집계 전략을 활용한다.

실험 결과

연구 질문

• RQ1 포인트와 그 이웃의 게이트드 융합이 희소하고 순서가 없는 포인트 클라우드에서 세분화 표현을 향상시키는가?
• RQ2 학습 가능한 그래프 어텐션 메커니즘이 PointNet++의 고정된 분할 방식보다 더 나은 복잡한 국소적 구조 모델링을 가능하게 하는가?
• RQ3 전역적 공간적 및 채널별 관계를 명시적으로 모델링하면 포인트 클라우드의 세분화 정확도가 향상되는가?
• RQ4 제안된 모듈들이 개별적으로나 종합적으로 전체 성능과 내구성에 기여하는 방식은 어떠한가?
• RQ5 기존 최신 기준 방법들과 비교해 낮은 추론 비용으로도 높은 정확도를 유지할 수 있는가?

주요 결과

• 제안된 모델은 S3DIS 데이터셋에서 88.43% mIoU, ScanNet 데이터셋에서 60.06% mIoU를 달성하여 최신 기준 방법을 능가한다.
• 제거 실험 결과, 문맥적 표현 모듈을 제거하면 mIoU가 60.06%에서 56.15%로 감소하며, '기둥'이나 '소파'와 같은 카테고리에서 뚜렷한 감소가 관찰된다.
• 그래프 포인트넷 모듈(GPM)은 성능 향상에 핵심적인 역할을 하며, 제거 시 복잡한 국소적 구조에서 특히 심한 mIoU 감소가 발생한다.
• 어텐션 모듈은 넓고 평평한 영역인 '천장', '바닥', '벽'에서 성능 향상에 기여하며, 제거 시 최대 3.5%의 mIoU 감소가 발생한다.
• 모델은 4096개 포인트 샘플당 평균 28.0ms의 추론 시간을 기록하여 대부분의 경쟁 모델보다 빠르며, 모델 크기도 작다(1.04M 파라미터).
• 확장성에 대해선 PointNet++ 대비 3.0%의 OA 감소를 보이며 내구성이 향상되었으나, 회전에 대한 민감도는 다소 낮아 데이터 증강에 대한 민감도의 상충 관계가 드러났다.