[논문 리뷰] Complete the Missing Half: Augmenting Aggregation Filtering with Diversification for Graph Convolutional Neural Networks

Sitao Luan, Mingde Zhao외 3명|arXiv (Cornell University)|2022. 12. 21.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

이 논문은 전통적인 그래프 컨volution 네트워크(GCNs)에 고역통과(다양화) 필터링을 추가하여 노드 정체성을 유지하고 표현 학습을 향상시키는 이채널 필터뱅크 프레임워크를 제안한다. 저역통과(집합)와 고역통과(다양화) 필터를 조합함으로써, 이 방법은 이방성 경향이 있는 그래프에서 특히 노드의 구별 가능성을 향상시키며, 9개의 노드 분류 벤치마크에서 평균 2.58%에서 6.32%의 성능 향상을 이룬다.

ABSTRACT

The core operation of current Graph Neural Networks (GNNs) is the aggregation enabled by the graph Laplacian or message passing, which filters the neighborhood information of nodes. Though effective for various tasks, in this paper, we show that they are potentially a problematic factor underlying all GNN models for learning on certain datasets, as they force the node representations similar, making the nodes gradually lose their identity and become indistinguishable. Hence, we augment the aggregation operations with their dual, i.e. diversification operators that make the node more distinct and preserve the identity. Such augmentation replaces the aggregation with a two-channel filtering process that, in theory, is beneficial for enriching the node representations. In practice, the proposed two-channel filters can be easily patched on existing GNN methods with diverse training strategies, including spectral and spatial (message passing) methods. In the experiments, we observe desired characteristics of the models and significant performance boost upon the baselines on 9 node classification tasks.

연구 동기 및 목표

• 현재 GNN이 저역통과 필터링에 과도하게 의존함으로써 노드 표현이 서로 구별되지 않게 되는 한계를 해결하기 위해.
• 표준 GNN에서 자주 간과되는 그래프 신호의 고주파성(비스무스) 성분의 역할을 탐구하기 위해.
• 기존 GNN을 보완하기 위해 이중 필터링 메커니즘—저역통과 필터를 통한 집합과 고역통과 필터를 통한 다양화—을 구현하는 플러그인 프레임워크를 개발하기 위해.
• 실증적으로 고역통과 필터링이 이방성 지배 데이터셋에서 표현 학습에 크게 기여함을 검증하기 위해.
• 학습 중에 저역통과 및 고역통과 성분의 가중치를 학습 가능한 계수로 조정하여 스무스 및 비스무스 특징을 동적으로 균형 잡는 방식을 보여주기 위해.

제안 방법

• 저역통과(LP) 및 고역통과(HP) 필터를 병렬로 적용하여 스무스 및 비스무스 그래프 신호 성분을 모두 포착하는 이채널 필터뱅크(FB-GNN) 프레임워크를 제안한다.
• 그래프 라플라시안과 그 스펙트럼 분해를 사용하여 LP 및 HP 필터를 정의하며, LP 필터는 국소적 스무스성을 포착하고 HP 필터는 노드 간 차이를 강조한다.
• 기존 그래프의 특징과 레이블의 스무스성을 정량화하기 위해 딜레트 에너지와 그래프 신호 에너지 기반의 새로운 S-값 지표를 도입한다.
• 최종 표현에서 LP 및 HP 필터 기여도를 동적으로 조정하기 위해 학습 가능한 계수(αL 및 αH)를 적용함으로써 스무스 및 비스무스 특징의 적응형 혼합을 가능하게 한다.
• 스펙트럼 및 공간(메시지 전달) 방법 모두에 호환 가능한 간단한 아키텍처 수정을 통해 기존 GNN(예: GCN 및 GraphSAINT)에 이채널 메커니즘을 통합한다.
• 이중 브랜치 집합 전략을 적용: 한 브랜치는 표준 이웃 집합(저역통과)을 수행하고, 다른 브랜치는 노드 간 이질성을 강조하기 위해 고역통과 변환을 적용한다.

실험 결과

연구 질문

• RQ1 기존의 저역통과 집합 외에 고역통과 필터링을 포함함으로써 GNN에서 노드 표현 학습이 향상되는가?
• RQ2 그래프 신호의 스무스 및 비스무스 성분이 실제 세계의 노드 분류 작업 성능에 어떻게 기여하는가?
• RQ3 저역통과 및 고역통과 필터의 학습 가능한 계수는 학습 중에 스무스 및 비스무스 특징을 얼마나 동적으로 균형 잡는가?
• RQ4 제안된 이채널 프레임워크는 아키텍처 재설계 없이도 기존 GNN 아키텍처에 효과적이고 효율적으로 통합될 수 있는가?
• RQ5 이채널 접근법의 성능 향상은 동질성과 이방성의 정도가 다른 데이터셋 간에서 일관되게 유지되는가?

주요 결과

• 제안된 FB-GNN 프레임워크는 한채널 기반 모델 대비 9개의 노드 분류 작업에서 평균 2.58%에서 6.32%의 성능 향상을 기록했으며, 특히 Wisconsin 및 Texas와 같이 이방성 경향이 강한 데이터셋에서 가장 큰 향상을 보였다.
• Cora 데이터셋에서 비선형 변환을 적용한 두채널 모델은 87.50%의 정확도를 달성했으며, 한채널 비선형 기반 모델(84.69%)보다 2.81%포인트 높은 성능을 보였다.
• 딥 GCN 환경에서 FB-GCN은 다양한 깊이에서 표준 GCN을 일관되게 능가했으며, 깊이 16에서 Cora 데이터셋에서 최대 8.04%의 성능 향상을 기록했다.
• 절단 실험 결과, 비선형 특징 추출기와 이채널 아키텍처 모두 필수적이며, 특히 9개 작업 중 6개에서 학습된 αH > αL로 인해 고역통과 성분이 크게 기여하는 것으로 나타났다.
• 학습 중에 학습된 계수 αL 및 αH의 시각화 결과, 비스무스 출력이 필요한 경우 고역통과 성분이 더 높은 가중치를 가지며 동적으로 조정되는 것으로 나타났다. 이는 고역통과 성분이 표현 학습에서 핵심적인 역할을 한다는 것을 시사한다.
• S-값 지표는 실제 세계의 그래프에서 스무스 및 비스무스 성분의 혼합 정도를 성공적으로 정량화했으며, 효과적인 표현 학습을 위해 두 유형의 신호가 모두 필수적임을 확인했다.