[논문 리뷰] Stability of Graph Scattering Transforms

Fernando Gama, Joan Bruna외 1명|arXiv (Cornell University)|2019. 06. 11.

Advanced Graph Neural Networks참고 문헌 31인용 수 36

한 줄 요약

이 논문은 다중 해상도 그래프 웨이브릿을 사용하여 분산 변환을 그래프 데이터에 확장하고, 순열 불변성과 상대 그래프 섭동에 대한 안정성을 증명하며, 여러 작업에서 GFT에 비해 실험적으로 경쟁력 있는 성능을 보임을 보여준다.

ABSTRACT

Scattering transforms are non-trainable deep convolutional architectures that exploit the multi-scale resolution of a wavelet filter bank to obtain an appropriate representation of data. More importantly, they are proven invariant to translations, and stable to perturbations that are close to translations. This stability property dons the scattering transform with a robustness to small changes in the metric domain of the data. When considering network data, regular convolutions do not hold since the data domain presents an irregular structure given by the network topology. In this work, we extend scattering transforms to network data by using multiresolution graph wavelets, whose computation can be obtained by means of graph convolutions. Furthermore, we prove that the resulting graph scattering transforms are stable to metric perturbations of the underlying network. This renders graph scattering transforms robust to changes on the network topology, making it particularly useful for cases of transfer learning, topology estimation or time-varying graphs.

연구 동기 및 목표

• 망 네트워크 데이터가 시점에 따라 토폴로지가 변경되거나 불확실한 경우에도 강건한 표현을 촉진하기 위함.
• 비훈련 비가역적 산란 프레임을 그래프에 확장하기 위해 그래프 웨이브릿를 도입.
• 그래프 산란 변환(GST)의 안정성과 순열 불변성을 섭동 하에서 증명.
• 수치 실험을 통해 GST의 효과성과 강건성을 입증하기 위함.

제안 방법

• 실수 도함수 기반 그래프 웨이브릿 뱅크를 사용하여 그래프 컨볼루션으로 바꿔 GST 아키텍처를 정의한다.
• 그래프 시그널을 그래프 시프트 연산자와 그래프 푸리에 변환으로 표현하여 그래프 필터링을 구현한다.
• 웨이브릿이 프레임(또는 타이트한 프레임)을 이루도록 하여 에너지 분산을 제어하고, 다중 척도 표현의 안정성을 가능하게 한다.
• 노드 재표지화에 대한 GST의 순열 불변성(정리 1)을 보장한다.
• 상대 섭동 모델을 제공하고 섭동 크기에 의존하지만 그래프 토폴로지에는 의존하지 않는 안정성 경계치(Theorem 1 및 제2–제3 제안)를 도출한다.
• 비선형성으로 인해 정보가 주파수 전체로 퍼지며 GST 표현이 안정적이고 판별적임을 보여준다.

실험 결과

연구 질문

• RQ1 그래프 산란 변환은 노드 순열에 대해 불변한가?
• RQ2 그래프 구조의 상대 섭동에 대해 GST가 안정적인가, 그리고 이 안정성을 그래프 토폴로지와 무관하게 정량화할 수 있는가?
• RQ3 실세계 작업에서 안정성 및 판별력 측면에서 GST와 그래프 푸리에 변환(GFT) 표현은 어떻게 비교되는가?
• RQ4 엣지 가중치 조정, 추가, 삭제와 같은 토폴로지 변화에서도 GST가 성능을 유지할 수 있는가?

주요 결과

• GST는 그래프의 순열에 대해 불변이다(정리 1).
• 상대 섭동 모델은 그래프 토폴로지에 독립적인 안정성 경계치를 GST에 대해 제공한다(정리 1).
• 웨이브릿 출력은 적분 리프시치 조건 아래 섭동 크기에 대해 선형적으로 변화한다(제안 2).
• GST 계수는 각각의 섭동에 대해 안정적이며(제안 3), 전체 GST 표현에 대한 전반적 안정성으로 이어진다(정리 1).
• 수치 결과는 GST가 GFT보다 훨씬 더 안정적인 표현을 제공하고 저자 독해성 및 Facebook 그래프 작업에서 분류 성능이 동등하거나 더 우수함을 보여주며, 타이트한 Hann 웨이브릿이 종종 최상의 안정성을 보인다.