[논문 리뷰] LGD-GCN: Local and Global Disentangled Graph Convolutional Networks

Jingwei Guo, Kaizhu Huang외 2명|arXiv (Cornell University)|2021. 04. 24.

Advanced Graph Neural Networks참고 문헌 19인용 수 6

한 줄 요약

LGD-GCN는 학습된 잠재 공간에서 국소적 근접성 정보와 전역적 요인 특화 구조를 동시에 활용하여 노드 표현을 분리하는 새로운 그래프 컨volution 네트워크를 제안한다. 요인 인식 잠재 구조 위에서 전역 메시지 전파 메커니즘과 다각성 촉진 정규화를 통합함으로써 LGD-GCN은 요인 내 일관성과 요인 간 다양성을 향상시키며, 합성 및 실세계 그래프에서 노드 분류 성능을 최고 수준으로 끌어올리고 해석 가능성까지 향상시킨다.

ABSTRACT

Disentangled Graph Convolutional Network (DisenGCN) is an encouraging framework to disentangle the latent factors arising in a real-world graph. However, it relies on disentangling information heavily from a local range (i.e., a node and its 1-hop neighbors), while the local information in many cases can be uneven and incomplete, hindering the interpretabiliy power and model performance of DisenGCN. In this paper\footnote{This paper is a lighter version of \href{https://jingweio.github.io/assets/pdf/tnnls22.pdf}{"Learning Disentangled Graph Convolutional Networks Locally and Globally"} where the results and analysis have been reworked substantially. Digital Object Identifier \url{https://doi.org/10.1109/TNNLS.2022.3195336}.}, we introduce a novel Local and Global Disentangled Graph Convolutional Network (LGD-GCN) to capture both local and global information for graph disentanglement. LGD-GCN performs a statistical mixture modeling to derive a factor-aware latent continuous space, and then constructs different structures w.r.t. different factors from the revealed space. In this way, the global factor-specific information can be efficiently and selectively encoded via a message passing along these built structures, strengthening the intra-factor consistency. We also propose a novel diversity promoting regularizer employed with the latent space modeling, to encourage inter-factor diversity. Evaluations of the proposed LGD-GCN on the synthetic and real-world datasets show a better interpretability and improved performance in node classification over the existing competitive models. Code is available at \url{https://github.com/jingweio/LGD-GCN}.

연구 동기 및 목표

• Disentangled GCN (DisenGCN)의 한계를 해결하기 위해, 특히 실세계 그래프에서 일관성 없거나 흐린 국소적 근접성 정보에 의존하는 데에 초점을 맞춘다.
• 국소적 분리와 전역적 요인 특화 패턴을 모두 캡처함으로써 그래프 표현 학습의 해석 가능성과 성능을 향상시키는 것을 목표로 한다.
• 학습된 잠재 공간에서 요인 특화 메시지 전파 구조를 구성함으로써 요인 내 일관성을 향상시키는 것.
• 잠재 공간에서 분리된 특징이 별도의 클러스터를 형성하도록 유도하는 새로운 정규화를 통해 요인 간 다양성을 촉진하는 것.
• 합성 및 실세계 그래프 벤치마크에서 기존 최고 성능 모델에 비해 뛰어난 성능과 해석 가능성을 입증하는 것.

제안 방법

• 다양한 요인에 해당하는 다수의 잠재 단위로 국소적 노드 표현을 분리하기 위해 근접성 라우팅 메커니즘을 활용한다.
• 국소적 분리된 단위에 통계 혼합 모델링(예: 정규 혼합 모델)을 적용하여 각 요인이 별도 영역을 차지하는 요인 인식 연속 잠재 공간을 도출한다.
• 각 요인에 대해 잠재 공간에서 가까운 노드를 연결하여 요인 특화 그래프 구조를 구성함으로써 타겟팅된 전역 메시지 전파를 가능하게 한다.
• 이러한 잠재 구조를 따라 요인 특화 정보를 전역 집계 모듈($\mathbb{LG}_{agg}$)을 통해 전파함으로써 요인 내 일관성을 향상시킨다.
• 분리된 특징이 별도의 클러스터를 형성하도록 유도하는 다각성 촉진 정규화($\mathcal{L}_{div}$)를 도입하여 요인 간 구분성을 향상시킨다.
• 재구성, 일관성, 다각성 항목을 포함하는 손실 함수를 최적화하여 모델을 종합적으로 학습하며, 강건성을 확보하기 위해 하이퍼파rameter를 조정한다.

실험 결과

연구 질문

• RQ1 잠재 공간에서 전역 구조 정보를 통합함으로써 국소적 근접성에만 의존하는 것보다 분리된 표현의 일관성을 향상시킬 수 있는가?
• RQ2 요인 인식 잠재 공간의 구축이 그래프 신경망에서 노드 분류의 해석 가능성과 성능을 향상시키는가?
• RQ3 제안된 다각성 정규화가 잠재 공간에서 분리된 요인의 가용성에 어떤 영향을 미치는가?
• RQ4 LGD-GCN은 희박한 그래프에서 DisenGCN 및 기타 최고 성능 모델에 비해 얼마나 뛰어난 성능을 보이는가?
• RQ5 각 제안된 구성 요소($\mathcal{L}_{space}$, $\mathcal{L}_{div}$, $\mathbb{LG}_{agg}$)가 전체 모델 성능에 기여하는 정도는 어느 정도인가?

주요 결과

• LGD-GCN은 최고 성능의 노드 분류 정확도를 달성하였으며, Cora에서는 84.9%, Citeseer에서는 74.5%, Pubmed에서는 81.2%를 기록하여 DisenGCN 및 기타 최고 성능 모델을 능가했다.
• 특히 깊은 층에서 잠재 특징의 더 높은 블록 구조 패턴을 보이며, 더 밀도 있고 블록 형태의 상관관계 패턴을 나타내어 더 강한 해석 가능성과 요인 특화 구조를 의미한다.
• 제거 실험 결과 $\mathbb{LG}_{agg}$는 특징 상관관계와 해석 가능성 모두를 크게 향상시키며, 상관관계 행렬에서 뚜렷한 블록 형태 패턴을 보임을 확인했다.
• 다각성 정규화($\mathcal{L}_{div}$)는 요인 간 분리성을 효과적으로 촉진하며, 이를 제거하거나 과도하게 강조할 경우 성능 저하가 발생함을 확인했다.
• 모델은 하이퍼파rameter 선택에 대해 강건하다: Cora에서는 $\lambda_{space}$가 [0.1, 1] 범위에서, $\lambda_{div}$가 [0, 0.1] 범위에서 최적 성능을 보이며, Citeseer에서는 $\lambda_{space}$가 [0.1, 1], $\lambda_{div}$가 [0, 0.1]에서 최적이다. $k$ 값이 높아지면 노이즈 엣지로 인해 성능이 저하된다.
• 채널 수 $M$은 진짜 잠재 요인 수에 가까워야 하며, 예를 들어 8개의 요인을 가진 합성 그래프의 경우 $M=8$일 때 성능이 최고에 이르렀다.