[논문 리뷰] PAPooling: Graph-based Position Adaptive Aggregation of Local Geometry in Point Clouds

Jie Wang, Jianan Li외 3명|arXiv (Cornell University)|2021. 11. 28.

3D Shape Modeling and Analysis참고 문헌 48인용 수 5

한 줄 요약

이 논문은 점군에서 국소 점들 간의 공간적 관계를 그래프 표현을 통해 모델링하고, 그래프 컨volution 네트워크를 통해 특징을 동적으로 가중하는 그래프 기반의 위치에 적응하는 특징 집약 방법인 PAPooling을 제안한다. 기존의 최대/평균 풀링 방식에 비해 미세한 기하학적 구조를 유지하면서도, PointNet++ 및 DGCNN와 같은 백본에 통합될 경우 최소한의 계산 비용으로도 뚜렷한 정확도 향상을 이룬다 (예: S3DIS에서 +4.2% mIoU).

ABSTRACT

Fine-grained geometry, captured by aggregation of point features in local regions, is crucial for object recognition and scene understanding in point clouds. Nevertheless, existing preeminent point cloud backbones usually incorporate max/average pooling for local feature aggregation, which largely ignores points' positional distribution, leading to inadequate assembling of fine-grained structures. To mitigate this bottleneck, we present an efficient alternative to max pooling, Position Adaptive Pooling (PAPooling), that explicitly models spatial relations among local points using a novel graph representation, and aggregates features in a position adaptive manner, enabling position-sensitive representation of aggregated features. Specifically, PAPooling consists of two key steps, Graph Construction and Feature Aggregation, respectively in charge of constructing a graph with edges linking the center point with every neighboring point in a local region to map their relative positional information to channel-wise attentive weights, and adaptively aggregating local point features based on the generated weights through Graph Convolution Network (GCN). PAPooling is simple yet effective, and flexible enough to be ready to use for different popular backbones like PointNet++ and DGCNN, as a plug-andplay operator. Extensive experiments on various tasks ranging from 3D shape classification, part segmentation to scene segmentation well demonstrate that PAPooling can significantly improve predictive accuracy, while with minimal extra computational overhead. Code will be released.

연구 동기 및 목표

• 국소 영역 내 점들의 위치 분포를 忽시하는 기존 최대/평균 풀링의 한계를 해결하기 위해, 미세한 기하학적 구조를 포착하지 못하는 문제를 해결한다.
• 점군 처리에서 국소 기하학적 세부 정보를 유지하면서 위치에 민감한 특징 집약 연산자를 개발한다.
• PointNet++ 및 DGCNN와 같은 기존 점 기반 모델이 풀링 레이어를 PAPooling로 교체함으로써 더 나은 문맥적 및 구조적 표현을 학습할 수 있도록 한다.
• 지역 이웃에서 그래프 기반 공간 모델링이 다양한 3차원 시각 작업(분류, 부품 세분화, 장면 세분화 포함)에서 성능 향상에 기여함을 입증한다.

제안 방법

• PAPooling은 두 단계로 구성된다: 그래프 구축 및 특징 집약.
• 그래프 구축 단계에서, 중심 점이 국소 영역 내 모든 이웃 점들과 연결되도록 그래프가 구축되며, 간선 특징은 상대적 위치 정보를 캡처한다.
• 이러한 위치 정보 특징은 그래프 컨볼루션 네트워크(GCN)를 사용해 채널 별 주의 힘에 통합되어 위치에 적응하는 가중치를 생성한다.
• 특징 집약 단계에서, 생성된 주의 가중치를 사용해 이웃 점 특징들의 가중 평균으로 국소 특징이 계산된다.
• 이 방법은 플러그 앤 플레이 모듈로 설계되어, PointNet++ 및 DGCNN와 같은 기존 점군 백본의 최대 풀링 레이어를 간편하게 교체할 수 있다.
• 주의 가중치의 점수 분포를 안정화하고 향상시키기 위해 소프트맥스(특히 채널 별)와 같은 정규화 함수가 사용된다.

Figure 1: Comparison of (a) max pooling and (b) our PAPooling. The left blue circles represent points in a local region (darker color corresponds to stronger feature response) and the right circle represents aggregated feature. Max pooling simply ignores the spatial distribution of local points and

실험 결과

연구 질문

• RQ1 국소 점들 간의 공간적 관계를 명시적으로 모델링하는 그래프 기반 특징 집약 방법이 점군의 미세한 기하학적 표현을 향상시킬 수 있는가?
• RQ2 다양한 3차원 시각 작업에서 PAPooling이 기존 최대/평균 풀링에 비해 국소 기하학적 구조를 얼마나 잘 유지하는가?
• RQ3 주의 가중치의 정규화 전략과 함께, 그래프 구축 모듈의 최적의 설계(예: 인코더 수)는 무엇인가?
• RQ4 PointNet++ 및 DGCNN와 같은 인기 있는 백본에 PAPooling을 통합했을 때 성능 향상 정도는 어느 정도인가?
• RQ5 그래프 구축 단계에서 채널 별 주의 가중치를 사용할 경우, 채널에 무관한 가중치보다 더 높은 성능을 내는가?

주요 결과

• PointNet++와 함께 사용했을 때, S3DIS 데이터셋에서 mIoU가 1.0% 절대 향상되어 54.5%에서 53.5%로 개선되었다.
• DGCNN에 적용했을 경우, mIoU가 4.2% 절대 향상되어 60.3%에서 56.1%로 개선되어 다양한 아키텍처 간 강력한 일반화 성능을 입증했다.
• ModelNet40에서 PAPooling은 소프트맥스 정규화와 채널 별 가중치를 사용해 92.74%의 정확도를 달성했으며, 다른 정규화 기법들을 능가했다.
• 절단 실험 결과, 그래프 구축 모듈에 두 개의 인코더를 사용할 경우 최고의 성능를 기록하여, 단순한 설계로도 최적의 결과를 도출할 수 있음을 시사했다.
• 시각화 결과, PAPooling이 이웃 점들의 상대적 위치에 따라 다릅니다. 동적 주의 가중치를 할당함으로써 위치 민감한 특징 집약을 가능하게 했다.
• S3DIS Area-5에서의 정성적 세분화 결과를 통해, PAPooling이 물체 경계에서 미세한 기하학적 세부 정보를 효과적으로 포착함을 확인했다.

Figure 2: Overview of architecture of PAPooling. (a) shows the traditional feature aggregation operation in point clouds. (b) illustrates the workflow of our PAPooling, including two important modules, Graph Construction and Feature Aggregation. The first module, Graph Construction, is designed to t