[논문 리뷰] Topology and Content Co-Alignment Graph Convolutional Learning

Min Shi, Yufei Tang외 1명|arXiv (Cornell University)|2020. 03. 28.

Advanced Graph Neural Networks참고 문헌 29인용 수 6

한 줄 요약

이 논문은 일관되지 않거나 완전하지 않은 링크를 가진 그래프에서 노드 표현 학습을 향상시키기 위해 위상과 콘텐츠 네트워크를 공동으로 최적화하는 공정한 정렬 그래프 컨volution 러닝 프레임워크인 CoGL을 제안한다. 특징에서 콘텐츠 네트워크를 재구성하고, 통합된 손실(콘텐츠, 분류, 적대적 목적을 조합)을 통해 원본 위상과 공정하게 정렬함으로써 CoGL은 여섯 가지 벤치마크에서 최신 기술(SOTA) 성능을 달성하며, GCN, GAT 및 기타 SOTA 모델을 능가한다.

ABSTRACT

In traditional Graph Neural Networks (GNN), graph convolutional learning is carried out through topology-driven recursive node content aggregation for network representation learning. In reality, network topology and node content are not always consistent because of irrelevant or missing links between nodes. A pure topology-driven feature aggregation approach between unaligned neighborhoods deteriorates learning for nodes with poor structure-content consistency, and incorrect messages could propagate over the whole network as a result. In this paper, we advocate co-alignment graph convolutional learning (CoGL), by aligning the topology and content networks to maximize consistency. Our theme is to force the topology network to respect underlying content network while simultaneously optimizing the content network to respect the topology for optimized representation learning. Given a network, CoGL first reconstructs a content network from node features then co-aligns the content network and the original network though a unified optimization goal with (1) minimized content loss, (2) minimized classification loss, and (3) minimized adversarial loss. Experiments on six benchmarks demonstrate that CoGL significantly outperforms existing state-of-the-art GNN models.

연구 동기 및 목표

• 실세계 네트워크에서 그래프 위상과 노드 콘텐츠 간의 일관성 부족이 GNN 성능을 떨어뜨리는 문제를 해결하기 위해.
• 위상에서의 불필요하거나 누락된 링크로 인해 발생하는 노이즈가 많은 메시지 전달과 손상된 노드 관계를 극복하기 위해.
• 위상과 콘텐츠 네트워크를 공동으로 정렬하는 통합 학습 프레임워크를 개발하여 표현 학습을 향상시키기 위해.
• 콘텐츠 기반 관계를 명시적으로 모델링함으로써 잠재적으로 오류가 있을 수 있는 네트워크 위상에 대한 의존도를 줄이기 위해.
• 구조적 노이즈가 존재하는 상황에서도 반감독 설정에서 더 나은 노드 분류 및 임베딩 품질을 달성하기 위해.

제안 방법

• 노드 특징에서 학습 가능한 유사도 메커니즘을 사용해 콘텐츠 기반 유사도를 모델링함으로써 콘텐츠 네트워크를 재구성한다.
• 콘텐츠 재구성 손실, 노드 분류 손실, 적대적 훈련 손실을 조합한 통합 최적화 목표를 도입한다.
• 적대적 훈련을 통해 위상 네트워크를 콘텐츠 네트워크와 정렬함으로써 생성기가 현실적인 콘텐츠 기반 간선을 생성하도록 유도한다.
• 진짜 위상 간선과 생성된 콘텐츠 기반 간선를 구분할 수 있는 판별기(discriminator)를 사용하여 적대적 정련을 가능하게 한다.
• 공유 최적화를 통해 공정한 정렬을 강제함으로써 원본 위상과 재구성된 콘텐츠 네트워크 양쪽 모두에서 메시지 전달을 적용한다.
• 콘텐츠 재구성, 분류, 적대적 훈련을 균형 잡기 위해 하이퍼파ram터 α와 β를 사용하는 다중 구성 요소 손실 함수를 사용한다.

실험 결과

연구 질문

• RQ1 네트워크 위상과 노드 콘텐츠 간의 일관성 부족이 발생할 경우 그래프 컨volution 러닝은 어떻게 향상시킬 수 있는가?
• RQ2 위상과 콘텐츠 네트워크를 공동으로 최적화하는 것이 위상 기반 집계만을 사용하는 것보다 더 나은 노드 표현 학습을 이끌 수 있는가?
• RQ3 학습된 콘텐츠 네트워크를 통합함으로써 실세계 그래프에서 누락되거나 오류 있는 링크를 다루는 데 어떤 영향을 미치는가?
• RQ4 위상과 콘텐츠 네트워크 간의 적대적 훈련이 임베딩 품질과 일반화 능력을 어떻게 향상시키는가?
• RQ5 공정한 정렬이 노이즈가 많거나 완전하지 않은 그래프 구조가 GNN 성능에 악영향을 미치는 정도를 어느 정도 줄이는가?

주요 결과

• CoGL은 여섯 개의 벤치마크 데이터셋 전부에서 최고 성능을 기록했으며, GCN 및 GAT보다 뚜렷한 격차를 보였다.
• Cora에서 CoGL은 63.86±0.52%의 정확도를 달성했으며, 두 번째로 좋은 성능을 낸 GAT(62.52±0.40%)를 능가했다.
• Citeseer에서 CoGL은 58.78±0.39%의 성능을 기록했으며, GAT의 58.38±0.48%와 GCN의 57.65±0.27%를 초월했다.
• 제거 실험 결과, 콘텐츠 네트워크 구축(α=0.0) 또는 적대적 훈련(β=0.0)을 제거할 경우 성능 저하가 발생함을 확인하여, 두 구성 요소가 모두 필수적임을 입증했다.
• Cora에서의 시각화 결과, CoGL이 GCN보다 더 구분력 있고 잘 분리된 노드 임베딩을 학습하는 것으로 나타났다.
• 학습 손실 곡선은 분류와 적대적 목적 간의 균형 잡힌 최적화를 보여주며, 안정적인 공정한 정렬이 이루어지고 있음을 시사한다.