[논문 리뷰] Transferability of Spectral Graph Convolutional Neural Networks

Ron Levie, Wei Huang외 3명|arXiv (Cornell University)|2019. 07. 30.

Advanced Graph Neural Networks참고 문헌 45인용 수 49

한 줄 요약

본 논문은 스펙트럴 그래프 합성곱 신경망이 같은 기본 공간을 이산화하는 그래프들 간에 전달 가능하다는 것을 일반적인 전달 가능 불평등과 DSP 기반 프레임워크를 사용해 증명한다.

ABSTRACT

This paper focuses on spectral graph convolutional neural networks (ConvNets), where filters are defined as elementwise multiplication in the frequency domain of a graph. In machine learning settings where the dataset consists of signals defined on many different graphs, the trained ConvNet should generalize to signals on graphs unseen in the training set. It is thus important to transfer ConvNets between graphs. Transferability, which is a certain type of generalization capability, can be loosely defined as follows: if two graphs describe the same phenomenon, then a single filter or ConvNet should have similar repercussions on both graphs. This paper aims at debunking the common misconception that spectral filters are not transferable. We show that if two graphs discretize the same "continuous" space, then a spectral filter or ConvNet has approximately the same repercussion on both graphs. Our analysis is more permissive than the standard analysis. Transferability is typically described as the robustness of the filter to small graph perturbations and re-indexing of the vertices. Our analysis accounts also for large graph perturbations. We prove transferability between graphs that can have completely different dimensions and topologies, only requiring that both graphs discretize the same underlying space in some generic sense.

연구 동기 및 목표

• 데이터가 다양한 그래프 위에 놓인 다중 그래프 환경에서 전달 가능성을 동기 부여하고 형식화한다.
• 같은 기본 공간을 이산화할 때 그래프의 크기와 위상구조가 다르더라도 스펙트럴 그래프 필터가 그래프들 간에 일반화될 수 있음을 보인다.
• 스펙트럴 방법이 추가적인 전달 기계 없이도 전달 가능하다는 이론적 보장과 실용적 통찰을 제공한다.

제안 방법

• 스펙트럴 필터에 대한 함수해석학적 관점을 도입하여 고유값 분해를 피하고 순열 등가성을 보장한다.
• 필터 전달 가능성을 라플라시안 전달 가능성과 샘플링 일관성 오차의 합으로 한정짓는 전달 가능 불평등을 도입한다.
• 그래프를 기저 연속 공간/위상 공간의 이산화로 모델링하고 샘플링 및 보간 연산자를 통해 비교한다.
• 연속 공간 신호를 샘플링과 보간을 통해 그래프 신호와 연관시키는 DSP 영감 프레임워크를 개발한다.
• 위상 공간을 이산화하는 그래프의 전달 가능성을 증명하고, quadrature 가정하에 무작위로 샘플링된 그래프까지 확장한다.

실험 결과

연구 질문

• RQ1 어떤 조건에서 같은 기본 공간을 이산화하는 그래프에 적용될 때 스펙트럴 그래프 필터가 전달 가능성을 보이는가?
• RQ2 그래프의 크기와 위상구조가 다를 때 전달 가능성을 어떻게 정량화하고 상한을 제시할 수 있는가?
• RQ3 여러 그래프에서의 학습 없이도 스펙트럼 ConvNet이 그래프들 간에 전달될 수 있는가(원리적 전달 가능성)?

주요 결과

• 일반적인 전달 가능 불평등이 필터 전달 가능성을 라플라시안 전달 가능성과 샘플링 일관성 오차의 합으로 한정한다.
• 스펙트럴 ConvNet은 같은 위상 공간을 이산화하는 그래프 간에 전달 가능하며, 증명은 DSP 프레임워크에 뿌리를 둔다.
• 위상 공간에서 샘플링된 그래프의 전달 가능성은 quadrature 유사 샘플링 가정 하에 확립된다.
• 기저 공간에서 무작위로 샘플링된 그래프의 경우에도 제안된 프레임워크 하에 높은 확률로 전달 가능성이 성립한다.
• 실험적 사례는 제로샷(zero-shot) 설정에서도 스펙트럴 방법의 원리적 전달 가능성을 시사한다.