[논문 리뷰] PyramNet: Point Cloud Pyramid Attention Network and Graph Embedding Module for Classification and Segmentation

Kang Zhiheng, Ning Li|arXiv (Cornell University)|2019. 06. 07.

3D Shape Modeling and Analysis참고 문헌 22인용 수 23

한 줄 요약

PyramNet는 3D 포인트 클러스터 분류 및 의미적 세그멘테이션을 위한 새로운 엔드 투 엔드 딥 러닝 프레임워크로, 국소 기하학적 관계를 코 variance 기반의 포인트 유사도를 통해 그래프에서 포착하는 그래프 임베딩 모듈(GEM)과 세분화된 기하학적 세부 정보를 유지하면서 의미 특징 표현을 향상시키는 피라미드 어텐션 네트워크(PAN)라는 두 가지 핵심 구성 요소를 도입한다. 이 방법은 ModelNet40, ShapeNet, S3DIS 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, ModelNet40에서 96.8%의 정확도와 S3DIS에서 55.6%의 mIoU를 기록한다.

ABSTRACT

With the tide of artificial intelligence, we try to apply deep learning to understand 3D data. Point cloud is an important 3D data structure, which can accurately and directly reflect the real world. In this paper, we propose a simple and effective network, which is named PyramNet, suites for point cloud object classification and semantic segmentation in 3D scene. We design two new operators: Graph Embedding Module(GEM) and Pyramid Attention Network(PAN). Specifically, GEM projects point cloud onto the graph and practices the covariance matrix to explore the relationship between points, so as to improve the local feature expression ability of the model. PAN assigns some strong semantic features to each point to retain fine geometric features as much as possible. Furthermore, we provide extensive evaluation and analysis for the effectiveness of PyramNet. Empirically, we evaluate our model on ModelNet40, ShapeNet and S3DIS.

연구 동기 및 목표

• 분류 및 세그멘테이션 작업을 위한 순서 없는, 희소한 3D 포인트 클러스터에서 강력한 국소 기하학적 특징을 학습하는 문제를 해결하기 위해.
• PointNet와 EdgeConv와 같은 기존 방법의 한계를 극복하기 위해, 즉 세분화된 기하학적 세부 정보를 손실하거나 고차원 공간에서 유클리드 거리에 의존하는 것.
• 포인트 간 관계를 그래프 구조와 공분산 행렬을 통해 모델링함으로써 기하학적 인식이 가능한 학습 가능한 모듈을 설계하여 특징 표현을 향상시키기 위해.
• 특징의 열악한 품질을 유발하지 않으면서 수용 영역을 확장하는 계층적 어텐션 메커니즘을 통해 기하학적 정밀도를 유지하면서 의미 이해를 풍부화시키기 위해.
• 기존 최신 기술 수준 모델들을 능가하는 표준 벤치마크에서 성능을 내는 엔드 투 엔드, 원시 포인트 클러스터 네이티브 아키텍처를 개발하기 위해.

제안 방법

• 포인트 클러스터 데이터에서 그래프를 구축하고, 이웃 포인트의 공분산 행렬을 사용하여 국소 기하학적 관계를 모델링하는 그래프 임베딩 모듈(GEM)을 제안한다.
• GEM에서 학습 가능한 k-NN 그래프 구축을 적용하며, F가 입력 채널 차원일 때 k는 자동으로 ⌈F/4⌉로 설정되어 국소적 맥락과 계산 비용 사이의 균형을 맞춘다.
• 다중 스케일 어텐션을 통해 각 포인트에 강력한 의미 특징을 할당함으로써 세분화된 기하학적 세부 정보를 유지하면서 효과적인 수용 영역을 확장하는 피라미드 어텐션 네트워크(PAN)를 도입한다.
• GEM과 PAN을 스택형 인코더-디코더 아키텍처에 통합하여 원시 포인트 클러스터를 직접 처리하며, 이미지나 볼륨 격자와 같은 보조 입력이 필요로 하지 않는다.
• 세그멘테이션 헤드 출력을 위해 공유된 완전 연결 레이어(512, 256, P)를 사용하여 포인트별 확률 맵을 생성함으로써 부품 또는 의미적 세그멘테이션을 수행한다.
• 일반화 성능 향상을 위해 훈련 중에 무작위 균일 샘플링과 포인트 클러스터 변환을 통한 데이터 증강을 적용한다.

실험 결과

연구 질문

• RQ1 순서 없는, 희소한 3D 포인트 클러스터에서 국소 기하학적 관계를 효과적으로 모델링하여 특징 표현을 향상시킬 수 있는가?
• RQ2 공분산 행렬을 사용하는 그래프 기반 모듈이 EdgeConv와 같은 유클리드 거리 기반 방법보다 공간적 의존성을 더 잘 포착할 수 있는가?
• RQ3 계층적 어텐션 메커니즘이 포인트 클러스터 네트워크에서 세분화된 기하학적 세부 정보를 유지하면서 의미 특징 학습을 향상시킬 수 있는가?
• RQ4 GEM과 PAN 모듈이 분류 및 세그멘테이션 작업에서 개별적으로나 공동으로 성능 향상에 기여하는 방식은 어떠한가?
• RQ5 제안된 엔드 투 엔드 아키텍처인 PyramNet가 ModelNet40, ShapeNet, S3DIS와 같은 표준 3D 포인트 클러스터 벤치마크에서 최신 기술 수준 성능을 달성하는가?

주요 결과

• PyramNet는 ModelNet40 데이터셋에서 96.8%의 분류 정확도를 기록하여 PointNet, PointNet++, Kd-Net, EdgeConv를 모두 능가한다.
• ShapeNet의 부품 세그멘테이션 벤치마크에서 PyramNet는 83.9%의 mIoU를 기록하여 세분화된 객체 부품 인식에서 뛰어난 성능을 보였다.
• S3DIS에서의 3D 장면 의미 세그멘테이션 작업에서 PyramNet는 55.6%의 mIoU와 85.6%의 전체 정확도를 달성하여 PointNet보다 뚜렷한 향상을 보였으며, EdgeConv와도 경쟁 가능한 성능을 보였다.
• 제거 실험 결과, GEM과 PAN이 모두 필수적임을 확인하였다. 이들을 제거할 경우 의미 레이블 혼동과 성능 저하가 발생했으며, 특히 인접한 객체 부품을 구분하는 데서 두드러졌다.
• GEM에서 k의 선택은 매우 중요하다. k = ⌈F/4⌉로 설정할 경우 ModelNet40에서 최고의 정확도(91.5%)를 기록하여 그 적응형 설계의 타당성을 입증하였다.
• ShapeNet과 S3DIS에서의 시각화 결과, PyramNet는 기존 모델 대비 잘못된 분류와 레이블 이동을 줄였으며, 특히 복잡한 객체 경계나 장면 영역에서 뚜렷한 개선 효과를 보였다.