[논문 리뷰] Window Normalization: Enhancing Point Cloud Understanding by Unifying Inconsistent Point Densities

Qi Wang, Sheng Shi외 3명|arXiv (Cornell University)|2022. 12. 05.

3D Shape Modeling and Analysis인용 수 7

한 줄 요약

이 논문은 3차원 점군에서 일관되지 않은 점 밀도 문제를 해결하기 위해 Pre-abstraction Group-wise Window-Normalization (PAGWN) 모듈을 제안한다. 국소적 이웃 정규화와 국소-전반적 표현의 균형을 통해 특징 학습을 향상시키며, 의미 분할 정확도를 향상시켜 S3DIS (Area 5)에서 PointNeXt-XL 대비 2.7% mIoU 향상을 달성한다.

ABSTRACT

Downsampling and feature extraction are essential procedures for 3D point cloud understanding. Existing methods are limited by the inconsistent point densities of different parts in the point cloud. In this work, we analyze the limitation of the downsampling stage and propose the pre-abstraction group-wise window-normalization module. In particular, the window-normalization method is leveraged to unify the point densities in different parts. Furthermore, the group-wise strategy is proposed to obtain multi-type features, including texture and spatial information. We also propose the pre-abstraction module to balance local and global features. Extensive experiments show that our module performs better on several tasks. In segmentation tasks on S3DIS (Area 5), the proposed module performs better on small object recognition, and the results have more precise boundaries than others. The recognition of the sofa and the column is improved from 69.2% to 84.4% and from 42.7% to 48.7%, respectively. The benchmarks are improved from 71.7%/77.6%/91.9% (mIoU/mAcc/OA) to 72.2%/78.2%/91.4%. The accuracies of 6-fold cross-validation on S3DIS are 77.6%/85.8%/91.7%. It outperforms the best model PointNeXt-XL (74.9%/83.0%/90.3%) by 2.7% on mIoU and achieves state-of-the-art performance. The code and models are available at https://github.com/DBDXSS/Window-Normalization.git.

연구 동기 및 목표

• 기존 방법에서 3차원 점군의 다양한 영역 간 일관되지 않은 점 밀도로 인해 효과적인 특징 학습이 저해되는 문제를 해결한다.
• 윈도우 정규화를 사용해 다양한 밀도에서 국소 이웃 통계를 통합함으로써 특징 분포를 안정화하고 통일한다.
• 사전 추출 모듈을 통해 다운샘플링 단계에서 국소 및 전반적 특징의 균형을 맞춰 정보 손실을 줄인다.
• 점군 의미 분할에서 소형 객체 인식 및 경계 정밀도 향상을 향상시킨다.
• 기존 네트워크와 호환되는 플러그인 모듈을 개발하여 아키텍처의 대대적 개선 없이 성능을 향상시킨다.

제안 방법

• 근접 이웃점과 거리가 먼 이웃점을 각각 텍스처 특징과 공간적 맥락 특징으로 분리하는 그룹별 윈도우 정규화(GWN) 모듈을 제안한다.
• 각 그룹에 대해 별도로 윈도우 정규화를 적용하여 점 밀도의 변동에도 불구하고 특징 분포를 안정화하고 통일한다.
• 중심점과 그 이웃점이 균일하게 처리되도록 보장하는 사전 추출 모듈을 도입하여 국소 및 전반적 수준의 특징 균형을 향상시킨다.
• 공간 좌표와 특징를 학습 가능한 선형 레이어로 통합한 후 배치 정규화와 ReLU 활성화 함수를 적용한다.
• 정규화된 특징에 대해 최대 풀링을 적용하여 최종 점 임베딩을 생성함으로써 계층적 구조를 유지한다.
• 특징 다양성과 계산 비용을 균형 잡기 위해 군집화 포인트 수(m)를 최적화하며, m=3이 최적임을 확인하였다.

실험 결과

연구 질문

• RQ1 3차원 점군의 다양한 부분에서 일관되지 않은 점 밀도는 딥 네트워크의 특징 학습에 어떤 영향을 미치는가?
• RQ2 윈도우 정규화는 다양한 점 밀도를 가진 영역 간 특징 분포를 효과적으로 통합할 수 있는가?
• RQ3 이웃 특징에 대해 그룹별 전략을 적용하면 텍스처 및 공간 정보 추출에 유리한가?
• RQ4 사전 추출 모듈은 다운샘플링 단계에서 국소 및 전반적 특징 학습을 더 잘 균형 잡을 수 있는가?
• RQ5 PAGWN 모듈은 점군 분할에서 소형 객체 인식 및 경계 정밀도 향상에 얼마나 기여하는가?

주요 결과

• S3DIS (Area 5)에서 PAGWN 모듈 적용으로 mIoU가 71.7%에서 72.2%로 향상되었으며, mAcc와 OA는 각각 78.2%와 91.4%로 증가하였다.
• S3DIS의 6겹 교차 검증에서 모델은 mIoU 77.6%, mAcc 85.8%, OA 91.7%를 기록하였으며, PointNeXt-XL 대비 mIoU에서 2.7% 향상되었다.
• 소형 객체 인식이 크게 향상되었으며, 소파 인식률은 69.2%에서 84.4%로, 기둥 인식률은 42.7%에서 48.7%로 상승하였다.
• 절단 실험 결과, m=3에서 그룹별 윈도우 정규화가 최고의 성능을 내며, mIoU를 70.9%에서 71.4%로 향상시켰다.
• PAGWN 모듈은 추가로 약 264,000개의 파라미터만 추가하며, S3DIS에서 추론 시간은 2분 미만으로 증가한다.
• 기존 네트워크에 아키텍처 변경 없이 통합해도 효과적이며, 높은 일반화 능력과 플러그인 호환성을 입증하였다.