[논문 리뷰] Simple Truncated SVD based Model for Node Classification on Heterophilic Graphs

Vijay Lingam, Rahul Ragesh외 2명|arXiv (Cornell University)|2021. 06. 24.

Advanced Graph Neural Networks참고 문헌 17인용 수 6

한 줄 요약

이 논문은 이방성 그래프 노드 분류 작업에서 최신 기법들보다 최대 약 30% 향상된 성능을 내는 단순한 Truncated SVD (TSVD) 기반 모델을 제안한다. 노드 특징과 그래프 구조에 모두 TSVD를 적용함으로써 고주파 성분을 유도된 음성 간선을 통해 포착하며, 메시지 전파 집약 구조에 의존하지 않고도 딱딱한 저역통과 필터 역할을 한다.

ABSTRACT

Graph Neural Networks (GNNs) have shown excellent performance on graphs that exhibit strong homophily with respect to the node labels i.e. connected nodes have same labels. However, they perform poorly on heterophilic graphs. Recent approaches have typically modified aggregation schemes, designed adaptive graph filters, etc. to address this limitation. In spite of this, the performance on heterophilic graphs can still be poor. We propose a simple alternative method that exploits Truncated Singular Value Decomposition (TSVD) of topological structure and node features. Our approach achieves up to ~30% improvement in performance over state-of-the-art methods on heterophilic graphs. This work is an early investigation into methods that differ from aggregation based approaches. Our experimental results suggest that it might be important to explore other alternatives to aggregation methods for heterophilic setting.

연구 동기 및 목표

• 노드가 서로 다른 레이블을 가진 경우 성능이 떨어지는 그래프 신경망(GNNs)의 문제를 해결하기 위해.
• 현재 GNN 아키텍처를 지배하는 메시지 전파 집약 메커니즘의 대안을 탐색하기 위해.
• Truncated SVD 기반의 단순하고 효율적이며 해석 가능한 방법을 통해 이방성 그래프에서의 노드 분류 성능을 향상시키기 위해.
• 학습 기반 집약 구조보다 그래프 구조와 특징의 스펙트럼 분해가 더 나은 표현을 만들어낼 수 있는지 조사하기 위해.
• TSVD 기반 정규화가 이방성 환경에서 효과적인 인덕티브 바이어스 역할을 할 수 있음을 보여주기 위해.

제안 방법

• 노드 특징 행렬과 그래프 인접 행렬 각각에 대해 Truncated SVD(TSVD)를 독립적으로 적용하여 저랭크 근사치를 추출한다.
• TSVD 분해의 왼쪽 특이벡터에서 유도된 가중치가 부여된 인접 행렬을 통해 새로운 그래프를 구축함으로써, 고주파 성분을 포착하는 유도된 음성 간선을 효과적으로 유도한다.
• 표준 근접 집약 구조를 피하기 위해 TSVD 처리된 특징과 수정된 그래프 구조를 결합하는 연결 기반 아키텍처를 사용한다.
• 특이값 수(k)를 하이퍼파rameter로 간주하여 특징과 그래프 구조 양쪽에 대해 유연한 차원 축소를 가능하게 한다.
• 학습 중 그래프 정규화 방법을 다양화하여 대칭형, 행 기반, 정규화 없음의 세 가지 경우를 테스트하여 성능에 미치는 영향을 평가한다.
• GPR-GNN에 영감을 받아 TSVD를 특이벡터 스케일링 및 선택 방법으로 간주하며, 딱딱한 저역통과 필터 역할을 한다고 해석한다.

실험 결과

연구 질문

• RQ1 메시지 전파 기반 GNN보다 단순한 TSVD 기반 방법이 이방성 그래프 노드 분류에서 뛰어난 성능을 낼 수 있는가?
• RQ2 노드 특징과 그래프 구조를 모두 TSVD로 분해함으로써 이방성 환경에서 더 나은 표현 학습이 이루어지는가?
• RQ3 TSVD에서 도출된 음성 간선이 이방성 그래프에서 분류 성능 향상에 기여하는 고주파 패턴을 포착할 수 있는가?
• RQ4 TSVD에서 유도된 성능 향상은 다양한 이방성 기준 데이터셋에 걸쳐 안정적인가?
• RQ5 집약 기반 아키텍처가 아닌 접근 방식이 최신 기반 GNN보다 경쟁력 있거나 우월한 성능을 낼 수 있는가?

주요 결과

• HLP Concat 모델은 Squirrel 데이터셋에서 74.17%의 정확도를 기록하여 베이스라인 GPR-GNN(56.59%)보다 17.58% 향상되었고, 최신 기법들보다 약 30%의 상대적 향상률을 보였다.
• 절단된 특이값 수(k)를 다양화함으로써 성능 향상이 뚜렷하게 나타났으며, Squirrel 데이터셋에서 k 최적화 시 정확도가 56.59%에서 74.17%로 상승했다.
• Texas, Wisconsin, Actor, Chameleon, Cornell 등 모든 벤치마크 데이터셋에서 모든 베이스라인 모델을 초월하며 일관된 성능 향상을 보였다.
• 특징과 그래프 구조 양쪽에 대해 k를 고정하지 않고 유동적으로 설정할 경우 더 나은 성능을 얻었으며, 이는 최적의 차원 수가 데이터셋에 따라 다름을 시사한다.
• 그래프 정규화 방법이 성능에 큰 영향을 미쳤다: 대칭형, 행 기반, 정규화 없음의 세 가지 정규화 방식을 하이퍼파라미터로 취급함으로써 고정된 대칭 정규화보다 성능 향상이 뚜렷했다. 이는 기존 정규화 방식이 성능을 제약할 수 있음을 시사한다.
• TSNE 시각화 결과 HLP Concat 모델이 GPR-GNN보다 더 명확하고 클래스 간 분리가 뚜렷한 클러스터를 생성함을 확인하여, 더 뛰어난 임bedding 품질을 가짐을 입증했다.