[논문 리뷰] Point2Node: Correlation Learning of Dynamic-Node for Point Cloud Feature Modeling

Wenkai Han, Chenglu Wen외 3명|arXiv (Cornell University)|2019. 12. 23.

3D Shape Modeling and Analysis참고 문헌 33인용 수 8

한 줄 요약

Point2Node는 3D 포인트 클라우드 노드 간의 자기상관, 국소상관 및 비국소상관을 동적으로 모델링하는 엔드 투 엔드 그래프 기반 딥 러닝 프레임워크를 제안한다. 데이터 인식형 적응형 특징 집합 모듈을 통합하여 최소한의 파라미터 증가로 다수의 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 뛰어난 특징 분류 능력과 일반화 능력을 입증한다.

ABSTRACT

Fully exploring correlation among points in point clouds is essential for their feature modeling. This paper presents a novel end-to-end graph model, named Point2Node, to represent a given point cloud. Point2Node can dynamically explore correlation among all graph nodes from different levels, and adaptively aggregate the learned features. Specifically, first, to fully explore the spatial correlation among points for enhanced feature description, in a high-dimensional node graph, we dynamically integrate the node's correlation with self, local, and non-local nodes. Second, to more effectively integrate learned features, we design a data-aware gate mechanism to self-adaptively aggregate features at the channel level. Extensive experiments on various point cloud benchmarks demonstrate that our method outperforms the state-of-the-art.

연구 동기 및 목표

• 기존 포인트 클라우드 모델이 장거리 의존성과 순서 없는 3D 포인트 간의 공간적 상관관계를 충분히 파악하지 못하는 한계를 해결하기 위해.
• 통합된 그래프 구조 내에서 자기, 국소 및 비국소 상관관계를 동적으로 모델링하여 특징 표현을 향상시키기 위해.
• 다양한 상관관계 수준에서의 특징을 적응적으로 융합할 수 있는 학습 가능한 데이터 인식형 게이트 메커니즘을 설계하여 분류 능력을 향상시키기 위해.
• 낮은 파라미터 오버헤드를 유지하면서도 표준 3D 포인트 클라우드 벤치마크에서 최신 기술 수준 성능을 달성하기 위해.

제안 방법

• 포인트 클라우드를 표현하기 위해 고차원 노드 그래프를 구축하여 다양한 수준의 상관관계 탐색을 동적으로 가능하게 한다.
• 자기상관(채널 내부), 국소상관(이웃 간), 비국소상관(장거리 의존성을 가진 먼 점들 간)을 순차적으로 학습하는 동적 노드 상관관계 모듈을 도입한다.
• 채널 수준에서 다양한 상관관계 블록의 특징을 자동으로 가중치를 조정하고 융합하는 데이터 인식형 게이트 역할을 하는 학습 가능한 적응형 특징 집합(AFA) 모듈을 활용한다.
• 특징 추출을 위해 공유된 다층 퍼셉트론(MLPs)을 사용하고, 각 상관관계 학습 단계 이후에 특징 정제를 적용하여 노드 표현을 향상시킨다.
• 접근 행렬 계산의 계산 비용을 줄이기 위해 감소 비율 $ r = 8 $을 적용하고, 레이어 간 파라미터 공유를 구현한다.
• 모델 전체를 엔드 투 엔드로 훈련하여 특징 학습과 상관관계 모델링의 공동 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 통합된 딥 러닝 프레임워크가 3D 포인트 클라우드에서 자기상관, 국소상관 및 비국소상관을 효과적으로 모델링하여 특징 표현을 향상시킬 수 있는가?
• RQ2 데이터 기반 게이팅에 기반한 적응형 특징 집합은 고정 또는 선형 집합보다 특징 분류 능력을 어떻게 향상시키는가?
• RQ3 동적 상관관계 학습이 포인트 클라우드 분류 및 의미 세분화 작업 성능 향상에 어느 정도 기여하는가?
• RQ4 제안된 방법은 입력 복잡도와 데이터 분포가 다양한 다양한 포인트 클라우드 벤치마크에 대해 일반화 가능한가?

주요 결과

• S3DIS 데이터셋에서 Point2Node는 기준 모델 대비 +11.04% 향상된 62.96% mIoU를 달성했으며, 모델 크기 증가율은 단지 1.46%에 그친다.
• ScanNet 데이터셋에서 Point2Node는 86.3% 전체 정확도(OA)를 기록하여, 이전의 모든 $1k$ 포인트, $xyz$만 입력하는 방법을 초월하고 대부분의 추가 입력 모델보다도 뛰어난 성능을 보였다.
• ModelNet40에서 Point2Node는 $1k$ $xyz$-오직 입력으로 93.0% OA를 달성하여, 좌표만을 사용하는 모델들 중에서 가장 높은 성능을 기록했다.
• 제거 실험 결과, 적응형 특징 집합 모듈이 성능 향상에 크게 기여하며, 선형 집합과 파라미터 없는 대안보다 뛰어난 성능을 보였다.
• 모델는 높은 효율성과 확장성으로 인해 높은 성능 유지와 함께 매우 낮은 파라미터 증가(단지 +1.46M 파라미터)를 기록했다.
• 비국소 상관관계 학습 통합이 특히 이전 방법에서 부족했던 장거리 의존성을 포착함으로써 특징 표현 능력을 크게 향상시켰다.