[논문 리뷰] HoloNets: Spectral Convolutions do extend to Directed Graphs

Christian Koke, Daniel Cremers|arXiv (Cornell University)|2023. 10. 03.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 그래프 푸리에 변환에 의존하지 않음으로써 방향성 그래프로 스펙트럴 컨볼루션을 확장하는 새로운 프레임워크인 HoloNets를 제안한다. 복소해석학과 스펙트럴 이론의 도구를 사용하여, 방향성 그래프에서의 학습 가능한 필터를 리졸베ント 기반 연산자로 수식화하며, 이는 이질적 노드 분류에서 최고 성능을 기록하고, 위상적 변형에 대해 뛰어난 내성성을 보인다.

ABSTRACT

Within the graph learning community, conventional wisdom dictates that spectral convolutional networks may only be deployed on undirected graphs: Only there could the existence of a well-defined graph Fourier transform be guaranteed, so that information may be translated between spatial- and spectral domains. Here we show this traditional reliance on the graph Fourier transform to be superfluous and -- making use of certain advanced tools from complex analysis and spectral theory -- extend spectral convolutions to directed graphs. We provide a frequency-response interpretation of newly developed filters, investigate the influence of the basis used to express filters and discuss the interplay with characteristic operators on which networks are based. In order to thoroughly test the developed theory, we conduct experiments in real world settings, showcasing that directed spectral convolutional networks provide new state of the art results for heterophilic node classification on many datasets and -- as opposed to baselines -- may be rendered stable to resolution-scale varying topological perturbations.

연구 동기 및 목표

• 스펙트럴 그래프 네트워크가 자명한 그래프 푸리에 변환을 필요로 하므로 항상 무방향 그래프에 국한되어 왔다는 오랜 한계를 극복하기 위해.
• 자기수반 연산자나 고유분해에 의존하지 않고도, 방향성 그래프에서 스펙트럴 컨볼루션을 위한 이론적으로 타당한 프레임워크를 개발하기 위해.
• 기저 선택과 특성 연산자들이 방향성 그래프에서 필터 설계에 미치는 영향을 조사하기 위해.
• 실세계 데이터셋에서 새로운 프레임워크를 경험적으로 검증하고, 특히 위상적 변형이 발생하는 상황에서의 성능을 평가하기 위해.
• 방향성 그래프에서 이질적 노드 분류 작업에서 개선된 일반화 능력과 안정성을 입증하기 위해.

제안 방법

• 복소수 $ z $ 에 대해 리졸베ント 연산자 $ R_z(L) = (L - zI)^{-1} $ 를 사용하는 리졸베ント 기반 스펙트럴 프레임워크로 기존의 그래프 푸리에 변환을 대체한다.
• 리졸베ント의 함수로 스펙트럴 필터를 정의하여, 비자기수반 연산자에서도 주파수 응답 해석이 가능하도록 한다.
• 복소해석학과 스펙트럴 이론을 활용하여, 방향성 그래프에서 필터의 수학적 일관성과 안정성을 확보한다.
• 일반화된 고유벡터 또는 기타 스펙트럴 분해를 기반으로 필터를 표현하고, 그 영향이 모델 성능에 미치는 영향을 분석한다.
• 노드 특징을 그래프 수준 표현으로 통합하기 위해 그래프 수준 집계 기법 $ \Omega $ 를 도입한다.
• 실세계 분자 그래프(QM7 데이터셋)에 프레임워크를 적용하며, 원자 전하와 쿠론 무게를 사용해 노드 및 간선 가중치를 정의한다.

실험 결과

연구 질문

• RQ1 그래프 푸리에 변환에 의존하지 않고도 스펙트럴 컨볼루션을 방향성 그래프로 의미 있게 확장할 수 있는가?
• RQ2 기저와 특성 연산자의 다양한 선택이 방향성 그래프에서 필터의 표현력과 안정성에 어떤 영향을 미치는가?
• RQ3 위상적 변형이 모델 성능에 미치는 영향은 무엇이며, 제안된 프레임워크는 이를 유지할 수 있는가?
• RQ4 새로운 프레임워크는 방향성 그래프에서 이질적 노드 분류 작업에서 최고 성능을 달성할 수 있는가?
• RQ5 기존의 스펙트럴 및 스페이셜 방법과 비교할 때 리졸베ント 기반 접근법은 안정성과 일반화 능력 측면에서 어떻게 다른가?

주요 결과

• HoloNets는 QM7를 포함한 여러 벤치마크 데이터셋에서 이질적 노드 분류 작업에서 새로운 최고 성능을 기록한다.
• 모델은 기존 베이스라인과 달리, 분자 그래프에서 수소 원자의 휘어짐과 같은 해상도 수준의 위상적 변형에 대해 안정성을 보인다.
• 실험에서 다양한 랜덤 시드에서 일관된 성능을 보이며, 새로운 프레임워크가 미리 보지 못한 그래프로의 일반화가 가능하다는 것이 입증되었다.
• 리졸베ント 기반 필터의 사용은 비자기수반 연산자에서도 주파수 응답 해석이 가능하게 하여 이론적 기반을 검증한다.
• 집계 기법 $ \Omega $ 와 원자 전하에 의한 노드 가중치 부여는 특히 군집화된 설정에서 효과적인 그래프 수준 표현을 생성한다.
• 리졸베ント $ R_{-1}(\Delta) = (\Delta + I)^{-1} $ 에서 $ z = -1 $ 을 선택할 경우 실질적으로 안정적이고 효과적인 필터링 행동을 나타낸다.