[논문 리뷰] Learning Depthwise Separable Graph Convolution from Data Manifold

Guokun Lai, Hanxiao Liu외 1명|arXiv (Cornell University)|2017. 10. 31.

Advanced Graph Neural Networks참고 문헌 13인용 수 3

한 줄 요약

이 논문은 데이터 다양체 위에서 깊이 분리 학습을 활용하여 격자 기반 및 그래프 기반 컨볼루션을 통합하는 새로운 그래프 컨볼루션 방법인 깊이 분리 그래프 컨볼루션(DSGC)을 제안한다. 기존 방법보다 파rameter 수가 적고 효율성이 높으면서도 표준 CNN 아키텍처와의 호환성도 유지하면서 다중 도메인 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Convolution Neural Network (CNN) has gained tremendous success in computer vision tasks with its outstanding ability to capture the local latent features. Recently, there has been an increasing interest in extending convolution operations to the non-Euclidean geometry. Although various types of convolution operations have been proposed for graphs or manifolds, their connections with traditional convolution over grid-structured data are not well-understood. In this paper, we show that depthwise separable convolution can be successfully generalized for the unification of both graph-based and grid-based convolution methods. Based on this insight we propose a novel Depthwise Separable Graph Convolution (DSGC) approach which is compatible with the tradition convolution network and subsumes existing convolution methods as special cases. It is equipped with the combined strengths in model expressiveness, compatibility (relatively small number of parameters), modularity and computational efficiency in training. Extensive experiments show the outstanding performance of DSGC in comparison with strong baselines on multi-domain benchmark datasets.

연구 동기 및 목표

• 격자 구조 데이터에서의 2D 컨볼루션과 비유클리드 데이터에서의 그래프 컨볼루션을 공통의 깊이 분리 학습 프레임워크를 통해 통합하기 위해.
• 기존 그래프 컨볼루션 방법의 한계를 해결하기 위해, 모든 채널에 걸쳐 단일 글로벌 필터를 사용하고 고정된 그래프에 의존하는 방식을 개선하기 위해.
• 표현력이 뛰어나면서도 계산 효율성이 높고 현대 CNN 아키텍처와의 호환성이 보장되는 모델을 개발하기 위해.
• 스пат리오토폴로지컬 예측 및 텍스트 분류를 포함한 다양한 작업에서 DSGC의 효과성을 입증하기 위해.

제안 방법

• DSGC는 데이터 다양체에서 학습된 채널별 필터를 적용하여 2D CNN의 깊이 분리 컨볼루션을 모방한다.
• 라벨 전파를 통한 2D 컨볼루션과 그래프 컨볼루션 간의 수학적 등가성에서 이론을 유도함으로써 통합된 수식을 도출한다.
• 각 채널마다 학습 가능한 그래프 필터를 사용하여 채널별로 다른 확산 패턴을 가능하게 하여 모델의 표현력을 향상시킨다.
• 두 단계의 연산을 사용한다: 먼저 그래프 구조에 대한 깊이 분리 컨볼루션을 수행하고, 그 다음 채널 간 1x1 컨볼루션을 수행함으로써 파rameter 수를 감소시킨다.
• Inception, DenseNet, Squeeze-and-Excitation 블록과 같은 기존 CNN 모듈에 DSGC를 통합하여 성능 향상을 도모한다.
• 노드 임베딩과 데이터 다양체 구조를 활용하여 비유클리드 데이터의 국소 패턴에 적응하는 공간 필터를 학습한다.

실험 결과

연구 질문

• RQ1 깊이 분리 컨볼루션은 유니클리드 데이터인 그래프 및 다양체로 일반화될 수 있는가?
• RQ2 제안된 DSGC 방법은 표현력과 파rameter 효율성 측면에서 기존 그래프 컨볼루션 방법보다 어떻게 비교되는가?
• RQ3 DSGC는 격자 구조 데이터를 위한 최신 기술 수준의 CNN 아키텍처에 원활하게 통합될 수 있는가?
• RQ4 DSGC는 스파티오토폴로지컬 예측 및 텍스트 분류와 같은 다중 도메인 작업에서 강력한 베이스라인을 초월하는가?

주요 결과

• DSGC는 세 가지 시계열 예측 데이터셋에서 모두 가장 낮은 RMSE를 기록했다: TMAX(5.1438), PRCP(25.8228), Solar(0.02453), 모든 베이스라인을 능가했다.
• 20NEWS 텍스트 분류 벤치마크에서 DSGC는 72.11%의 정확도를 기록했으며 표준편차는 ±0.285였고, 비교된 모든 방법을 뛰어넘었다.
• DSGC는 CIFAR 이미지 분류에서 표준 CNN 수준의 높은 성능를 유지하면서도 파rameter 수를 줄였다.
• DSGC는 Inception, DenseNet, Squeeze-and-Excitation 블록과 같은 고급 CNN 모듈과의 플러그 앤 플레이 통합을 가능하게 하여 다양한 작업에서 성능 향상을 이끌어냈다.
• 제거 실험을 통해 채널별 필터가 복잡한 국소 특징 추출 작업에서 성능 향상에 핵심적인 역할을 한다는 것이 확인되었다.