[논문 리뷰] Understanding Graph Neural Networks with Asymmetric Geometric Scattering Transforms

Michael Perlmutter, Feng Gao외 2명|arXiv (Cornell University)|2019. 11. 14.

Advanced Graph Neural Networks참고 문헌 32인용 수 10

한 줄 요약

이 논문은 일반적인 비대칭 웨이블릿 클래스를 사용하여 비대칭 그래프 산산화 변환(윈도우드 및 비윈도우드 모두)을 도입하며, 대칭 사례와 유사한 안정성 및 불변성 이론적 보장을 제공한다. 이 방법은 산산화 이론과 그래프 신경망을 연결하여 그래프 구조 데이터에 대해 증명 가능한 안정성과 학습 가능한 아키텍처를 가능하게 하며, 강력한 이론적 기반을 제공한다.

ABSTRACT

The scattering transform is a multilayered wavelet-based deep learning architecture that acts as a model of convolutional neural networks. Recently, several works have introduced generalizations of the scattering transform for non-Euclidean settings such as graphs. Our work builds upon these constructions by introducing windowed and non-windowed graph scattering transforms based upon a very general class of asymmetric wavelets. We show that these asymmetric graph scattering transforms have many of the same theoretical guarantees as their symmetric counterparts. This work helps bridge the gap between scattering and other graph neural networks by introducing a large family of networks with provable stability and invariance guarantees. This lays the groundwork for future deep learning architectures for graph-structured data that have learned filters and also provably have desirable theoretical properties.

연구 동기 및 목표

• 비유클리드 그래프 도메인에 산산화 변환 프레임워크를 확장하기 위해 비대칭 웨이블릿을 사용하는 것.
• 대칭 웨이블릿을 초월하여 그래프 산산화 변환에 대한 이론적 안정성 및 불변성 성질을 확립하는 것.
• 산산화 이론과 그래프 신경망을 통합하기 위해 증명 가능한 바람직한 성질을 갖춘 아키텍처의 가족을 도입하는 것.
• 학습 가능한 필터를 갖춘 향후 GNN을 가능하게 하되, 이론적 보장을 유지하는 것.

제안 방법

• 그래프 산산화 변환을 위한 일반적인 비대칭 웨이블릿 클래스를 제안하여 비대칭 필터 응답을 가능하게 한다.
• 다양한 불변성 및 안정성 요구 사항을 수용하기 위해 윈도우드 및 비윈도우드 변형을 모두 개발한다.
• 계층적이고 안정적인 표현을 추출하기 위해 그래프 라플라시안에 다층 웨이블릿 변환을 적용한다.
• 그래프 라플라시안을 미분 연산자로 사용하여 웨이블릿 기반의 산산화 경로를 정의한다.
• 그래프 변형에 대한 안정성 및 특정 변환에 대한 불변성과 같은 이론적 성질을 도출한다.
• 대칭 산산화의 이론적 프레임워크를 비대칭 설정으로 확장하여 핵심적인 불변성 및 안정성 결과를 유지한다.

실험 결과

연구 질문

• RQ1 비대칭 웨이블릿을 사용하여 대칭 사례와 유사한 이론적 보장을 갖는 그래프 산산화 변환을 구성할 수 있는가?
• RQ2 윈도우드 및 비윈도우드 그래프 산산화 변환 간의 안정성 및 불변성 측면에서의 비교는 어떻게 되는가?
• RQ3 그래프에 비대칭 웨이블릿을 사용할 경우 유지할 수 있는 이론적 성질(예: 안정성 및 불변성)은 무엇인가?
• RQ4 학습 가능한 필터를 지원하면서도 증명 가능한 성능 보장을 유지할 수 있도록 그래프 산산화 프레임워크를 일반화할 수 있는가?
• RQ5 비대칭 웨이블릿의 사용이 그래프 신경망의 표현력과 강건성에 어떤 영향을 미치는가?

주요 결과

• 제안된 비대칭 그래프 산산화 변환은 대칭 사례와 유사하게 그래프 변형에 대해 안정성을 유지한다.
• 변환은 특정 그래프 변환에 대해 불변성을 달성하여 층 간 구조적 정보를 유지한다.
• 윈도우드 및 비윈도우드 변형 모두 증명 가능한 이론적 보장을 갖추고 있으며, 산산화 기반 GNN의 적용 범위를 확장한다.
• 프레임워크는 학습 가능한 필터를 갖춘 광범위한 아키텍처 가족을 지원하면서도 안정성과 불변성을 유지한다.
• 이 작업은 학습 가능한 필터를 갖추되 증명 가능한 강건성을 유지하는 향후 GNN의 이론적 기반을 구축한다.
• 비대칭 웨이블릿은 이론적 보장을 포기하지 않으면서도 그래프에서 더 풍부한 표현 학습을 가능하게 한다.