[논문 리뷰] Dynamic Graph CNN for Learning on Point Clouds

Yue Wang, Yongbin Sun외 4명|arXiv (Cornell University)|2018. 01. 24.

3D Shape Modeling and Analysis참고 문헌 83인용 수 288

한 줄 요약

EdgeConv를 도입한 다이나믹 그래프 기반 합성곱으로, 각 층마다 이웃 그래프를 업데이트하여 분류 및 세분화를 위한 ModelNet40 및 ShapeNetPart에서 최첨단 성능을 달성한다.

ABSTRACT

Point clouds provide a flexible geometric representation suitable for countless applications in computer graphics; they also comprise the raw output of most 3D data acquisition devices. While hand-designed features on point clouds have long been proposed in graphics and vision, however, the recent overwhelming success of convolutional neural networks (CNNs) for image analysis suggests the value of adapting insight from CNN to the point cloud world. Point clouds inherently lack topological information so designing a model to recover topology can enrich the representation power of point clouds. To this end, we propose a new neural network module dubbed EdgeConv suitable for CNN-based high-level tasks on point clouds including classification and segmentation. EdgeConv acts on graphs dynamically computed in each layer of the network. It is differentiable and can be plugged into existing architectures. Compared to existing modules operating in extrinsic space or treating each point independently, EdgeConv has several appealing properties: It incorporates local neighborhood information; it can be stacked applied to learn global shape properties; and in multi-layer systems affinity in feature space captures semantic characteristics over potentially long distances in the original embedding. We show the performance of our model on standard benchmarks including ModelNet40, ShapeNetPart, and S3DIS.

연구 동기 및 목표

• 무작위 순서가 있는 포인트 클라우드의 지역 기하 구조를 포착하는 신경망 모듈을 개발한다.
• 순서 비가역성을 보장하면서 이웃 정보를 활용한다.
• 레이어 간 동적 그래프 업데이트를 가능하게 하여 장거리 의미 관계를 학습한다.
• EdgeConv의 적용 가능성을 입증하기 위해 벤치마크 데이터셋에서 최첨단 성능을 달성한다.
• 재현 가능성을 촉진하기 위한 분석 및 오픈 소스 코드를 제공한다.

제안 방법

• EdgeConv를 e_{ij} = h_{ heta}(x_i, x_j)이고 x_i' = Agg_{j:(i,j) in E} e_{ij}로 정의하며 Agg는 대칭 함수(예: 최대값 또는 합)인 에지 기반 특징 집계로 정의한다.
• 특징 공간에서 매 층마다 k-NN 그래프 G를 구성하고 각 EdgeConv 층 후 이웃을 재계산한다(동적 그래프).
• x_i와 (x_j - x_i)를 결합하는 학습 가능한 MLP h_{ heta}를 사용하여 지역 기하를 인코딩한다.
• 대칭 풀링을 통해 이웃 간 에지에서의 순서 비가역성을 유지하고 선택적으로 자기 루프를 포함한다.
• EdgeConv를 PointNet 계열 아키텍처에 통합하여 분류 및 세분화를 위한 Deep Graph CNN (DGCNN)을 형성한다.
• EdgeConv 변형을 비교하고 중심화, 동적 그래프, 이웃의 수가 성능에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 포인트 클라우드의 지역 기하 구조를 순서를 보존하지 않으면서 어떻게 포착할 수 있는가?
• RQ2 레이어 간 이웃 그래프를 동적으로 업데이트하면 포인트 클라우드의 글로벌하고 의미론적 구조 학습이 개선되는가?
• RQ3 EdgeConv를 기존 포인트 클라우드 파이프라인에 통합하여 분류 및 세분화 성능을 향상시킬 수 있는가?
• RQ4 그래프 하이퍼파라미터(k, 중앙화)가 성능과 밀도 변동에 대한 강건성에 미치는 영향은 무엇인가?

주요 결과

모델	평균 클래스 정확도	전체 정확도
3DShapeNets [Wu et al., 2015]	77.3	84.7
VoxNet [Maturana & Scherer, 2015]	83.0	85.9
Subvolume [Qi et al., 2016]	86.0	89.2
VRN (single view) [Brock et al., 2016]	-	-
VRN (multi-view) [Brock et al., 2016]	-	-
ECC [Simonovsky & Komodakis, 2017]	83.2	87.4
PointNet [Qi et al., 2017b]	86.0	89.2
PointNet++ [Qi et al., 2017c]	-	90.7
Kd-net [Klokov & Lempitsky, 2017]	-	90.6
PointCNN [Li et al., 2018a]	-	92.2
PCNN [Atzmon et al., 2018]	-	92.3
Ours (baseline)	88.9	91.7
Ours	90.2	92.9
Ours (2048 points)	90.7	93.5

• EdgeConv는 로컬 기하를 효과적으로 포착하며 축적될 때 전역 형태 특성을 학습한다.
• 레이어별 동적 그래프 업데이트는 고정 그래프에 비해 성능이 향상되며 ModelNet40(분류)과 S3DIS(세분화)에서 최첨단 결과를 달성한다.
• ModelNet40에서 1024 포인트로 평균 클래스 정확도 90.2%와 전체 정확도 92.9%를 달성하고, 2048 포인트로는 각각 90.7% / 93.5%이다.
• 기준선 고정 그래프 모델은 평균 정확도에서 PointNet++보다 약 1.0% 앞서고, 동적 그래프 버전은 PointNet++ 및 기존 방법들보다 더 큰 격차로 앞선다.
• 모델은 포인트 드롭아웃에 대해 강건함을 보이고, 중앙화 및 더 많은 포인트를 사용할 때 이득을 얻으며, k를 적절히 선택할 때 성능이 증가한다(k=20–40 예시).
• 이 접근법은 ShapeNet Part의 부품 세분화에서 강력한 결과를 보이며 다양한 카테고리의 3D 형태로 확장된다.