[논문 리뷰] DiffGCN: Graph Convolutional Networks via Differential Operators and Algebraic Multigrid Pooling

Moshe Eliasof, Eran Treister|arXiv (Cornell University)|2020. 06. 07.

3D Shape Modeling and Analysis참고 문헌 63인용 수 10

한 줄 요약

이 논문은 그래프 컨볼루션을 이산화된 미분 연산자(질량, 기울기, 라플라시안)로 공식화하고 계층적 특징 학습을 위해 대수적 멀티그리드 기반의 풀링/언풀링을 사용하는 DiffGCN을 제안한다. 이 방법은 기존 GCNs에 비해 계산 비용을 감소시키면서도 점군 분류 및 부품 분할 벤치마크에서 최신 기술 수준 또는 경쟁 가능한 성능을 달성한다.

ABSTRACT

Graph Convolutional Networks (GCNs) have shown to be effective in handling unordered data like point clouds and meshes. In this work we propose novel approaches for graph convolution, pooling and unpooling, inspired from finite differences and algebraic multigrid frameworks. We form a parameterized convolution kernel based on discretized differential operators, leveraging the graph mass, gradient and Laplacian. This way, the parameterization does not depend on the graph structure, only on the meaning of the network convolutions as differential operators. To allow hierarchical representations of the input, we propose pooling and unpooling operations that are based on algebraic multigrid methods, which are mainly used to solve partial differential equations on unstructured grids. To motivate and explain our method, we compare it to standard convolutional neural networks, and show their similarities and relations in the case of a regular grid. Our proposed method is demonstrated in various experiments like classification and part-segmentation, achieving on par or better than state of the art results. We also analyze the computational cost of our method compared to other GCNs.

연구 동기 및 목표

• 구조화된 CNN과 비정형 기하학적 딥러닝 사이의 격차를 메우기 위해 그래프 컨볼루션을 미분 연산자에 기반하게 한다.
• 그래프 구조에 종속되지 않는 그래프 컨볼루션의 파arameterization을 개발하며, 질량, 기울기, 라플라시안과 같은 이산화된 미분 연산자를 기반으로 한다.
• 계층적 특징 학습을 위한 새로운 풀링 및 언풀링 연산을 대수적 멀티그리드(AMG) 방법에서 영감을 받아 제안한다.
• 점군 및 메쉬 작업에서 성능을 유지하거나 향상시키면서 계산 비용을 감소시킨다.
• ModelNet40 및 S3DIS와 같은 표준 벤치마크에서 제안된 방법의 효과성과 효율성을 입증한다.

제안 방법

• 그래프 컨볼루션 커널은 비정형 격자 위에서 유한 차분 근사로부터 유도된 이산화된 미분 연산자—그래프 질량, 기울기, 라플라시안—를 사용하여 파arameterization된다.
• 컨볼루션 연산은 이러한 미분 연산자의 선형 조합으로 정의되며, 기하학적으로 의미 있는 구조 무관 파arameterization을 가능하게 한다.
• 풀링은 집합 기반 대수적 멀티그리드(AMG)의 갈레르킨 조밀화 연산자를 사용하여 구현되며, 효율적인 계층적 표현 학습을 가능하게 한다.
• 언풀링은 스무딩된 집합 기반 방법을 사용하여 업샘플링 중 특징 해상도를 유지한다.
• 이 방법은 CNN의 PDE 해석을 활용하며, 정규 격자 위의 표준 CNN과 비정규 그래프 위의 제안된 GCN 사이에 직접적인 유사성을 설정한다.
• 이 프레임워크는 엔드 투 엔드 학습을 지원하며, 점군 분류 및 의미적 세그멘테이션 작업에서 평가된다.

실험 결과

연구 질문

• RQ1 그래프 컨볼루션은 그래프 토폴로지에 종속되지 않는 이산화된 미분 연산자로 효과적으로 파arameterization될 수 있는가?
• RQ2 AMG 기반 풀링 및 언풀링 연산은 표준 GCN 풀링 대비 성능 및 효율성 측면에서 어떻게 비교되는가?
• RQ3 각각의 미분 연산자(질량, 기울기, 라플라시안)가 전체 모델 성능에 기여하는 정도는 어떠한가?
• RQ4 제안된 방법은 점군 및 메쉬 작업에서 최신 기술 수준의 GCNs에 비해 경쟁력 있거나 우수한 결과를 달성하는가?
• RQ5 제안된 방법의 계산 비용은 다른 공간 기반 GCNs에 비해 어떻게 되는가?

주요 결과

• ModelNet40에서 DiffGCN는 풀링을 사용할 경우 평균 클래스 정확도 89.5%와 총 정확도 93.1%를 달성하며, 질량 또는 기울기 항목만 사용하는 모델보다 뛰어난 성능을 보였다.
• 질량과 라플라시안 항목의 조합은 질량과 기울기의 조합보다 더 높은 정확도를 나타내어, 라플라시안의 강력한 표현 능력을 시사한다.
• S3DIS 데이터셋에서 이 방법은 평균 IoU 61.4%와 총 정확도 85.5%를 기록했으며, PointNet과 DGCNN을 능가하면서도 더 효율적이었다.
• 풀링 연산의 포함은 수신 영역을 확대함으로써 성능 향상을 가져왔으며, FLOPs와 메모리 사용량은 약간 증가하는 데 그쳤다.
• 기존의 메시지 전달 기반 공간 기반 GCNs에 비해 이 방법은 더 낮은 계산 비용을 보였으며, 특히 효율적인 AMG 기반 풀링 및 언풀링 덕분이었다.
• 제거 실험 결과, 질량, 기울기, 라플라시안의 세 개의 모든 미분 연산자가 긍정적인 기여를 하며, 전체 조합이 가장 뛰어난 성능을 내었다.