[논문 리뷰] PointSIFT: A SIFT-like Network Module for 3D Point Cloud Semantic Segmentation

Mingyang Jiang, Yiran Wu외 3명|arXiv (Cornell University)|2018. 07. 02.

3D Shape Modeling and Analysis참고 문헌 29인용 수 341

한 줄 요약

PointSIFT는 방향-인코딩 단위와 다중 스케일 특징 표현을 도입하여 PointNet 기반 아키텍처의 3D 시맨틱 세그멘테이션 정확도를 ScanNet과 S3DIS 벤치마크에서 향상시킵니다.

ABSTRACT

Recently, 3D understanding research sheds light on extracting features from point cloud directly, which requires effective shape pattern description of point clouds. Inspired by the outstanding 2D shape descriptor SIFT, we design a module called PointSIFT that encodes information of different orientations and is adaptive to scale of shape. Specifically, an orientation-encoding unit is designed to describe eight crucial orientations, and multi-scale representation is achieved by stacking several orientation-encoding units. PointSIFT module can be integrated into various PointNet-based architecture to improve the representation ability. Extensive experiments show our PointSIFT-based framework outperforms state-of-the-art method on standard benchmark datasets. The code and trained model will be published accompanied by this paper.

연구 동기 및 목표

• SIFT에서 영감을 받은 강건한 로컬 디스크립터로 직접적인 3D 포인트 클라우드 이해를 촉진.
• 8방향에 걸친 방향 정보를 인코딩하도록 PointSIFT 모듈 제안.
• 다중 스케일 표현을 위한 방향 인코딩 유닛을 쌓아 스케일 인식 달성.
• PointNet++ 기반 인코더-디코더 프레임워크에 PointSIFT를 통합하여 분할 성능 향상.

제안 방법

• 8-이웃 탐색(S8N)과 3단계 방향 인코딩 컨볼루션을 통해 8개의 공간 방향으로 특징을 집계하는 Orientation-Encoding(OE) 유닛 도입.
• 여러 OE 유닛을 쌓아 스케일 인식 특징 융합을 위한 shortcut 연결이 있는 다중 스케일 PointSIFT 모듈 생성.
• PointNet++ 유사 인코드-디코드 아키텍처에서 SA(set abstraction)와 FP(feature propagation) 레이어 사이에 PointSIFT 모듈 삽입.
• 저수준 정보를 보존하고 수렴 속도를 높이기 위해 대응하는 SA와 FP 레이어를 연결하는 FP 단축 경로 사용.
• 초기 특징 임베딩을 위한 MLP로 원시 포인트 클라우드에서 엔드-투-엔드 학습 및 PointSIFT가 섞인 상태에서 SA로 다운샘플링 및 FP로 업샘플링 수행.
• S3DIS 및 ScanNet 시맨틱 세그멘테이션 벤치마크에서 최첨단 baselines 대비 향상을 시연.

실험 결과

연구 질문

• RQ1 PointNet 기반 아키텍처에 통합될 때 SIFT에서 영감을 받은 방향 인코딩 디스크립터가 3D 포인트 클라우드 분할을 개선할 수 있나?
• RQ2 다중 스케일의 방향 인식 디스크립터 학습이 3D 데이터의 객체 및 장면 스케일 변화에 대한 강건성을 향상시키나?
• RQ3 FP-단축 경로와 PointSIFT 모듈이 표준 PointNet++ 파이프라인에 비해 더 빠른 수렴과 더 높은 세그멘테이션 정확도를 이끌어내나?
• RQ4 표준 3D 시맨틱 세그멘테이션 벤치마크(ScanNet, S3DIS)에서 PointSIFT의 성능은 최첨단 방법과 비교해 어떠한가?

주요 결과

• PointSIFT는 ScanNet 및 S3DIS 벤치마크에서 최첨단 방법을 능가하며, ScanNet에서 상대적으로 평균 IoU 8.4% 향상, S3DIS에서 12% 향상을 달성.
• OE 유닛은 8개 방향을 효과적으로 인코딩하고, 축적될 때 다중 스케일 로컬 디스크립터를 제공하여 분할 성능을 향상시킴.
• SA와 FP 레이어 사이에 PointSIFT 모듈을 삽입하고 FP-단축 경로를 사용하면 수렴 속도가 빨라지고 저수준 정보를 보존하여 전체 정확도가 향상됨.
• PointNet++와 같은 Baseline에 비해 PointSIFT 강화 네트워크는 ScanNet에서 픽셀당 정확도 86.2%, IoU 평균 41.5로 더 높고, S3DIS에서 전체 정확도 88.72% 및 평균 IoU 70.23%로 더 높음.
• 토이 스케일 인식 실험에서 활성화의 약 89%가 입력 형태의 스케일과 정렬되어 모델이 스케일 인식 표현을 학습한다는 것을 시사.