[논문 리뷰] Independence Promoted Graph Disentangled Networks

Yanbei Liu, Xiao Wang외 2명|arXiv (Cornell University)|2019. 11. 26.

Advanced Graph Neural Networks참고 문헌 37인용 수 5

한 줄 요약

이 논문은 독립성 촉진 그래프 분리 네트워크(Independent Promoted Graph Disentangled Networks, IPGDN)를 제안한다. IPGDN은 이웃 경로 설정을 통해 독립적인 잠재 요소를 학습하고, 힐버트-슈미트 독립성 기준(Hilbert-Schmidt Independence Criterion, HSIC)을 활용해 통계적 독립성을 강제함으로써 노드 표현을 분리하는 새로운 GCN 프레임워크이다. IPGDN은 종단간 훈련이 가능한 방식으로 표현 분리와 독립성 정규화를 동시에 최적화함으로써, 준지도 학습 노드 분류, 그래프 클러스터링, 시각화에서 최신 기준 성능을 달성한다.

ABSTRACT

We address the problem of disentangled representation learning with independent latent factors in graph convolutional networks (GCNs). The current methods usually learn node representation by describing its neighborhood as a perceptual whole in a holistic manner while ignoring the entanglement of the latent factors. However, a real-world graph is formed by the complex interaction of many latent factors (e.g., the same hobby, education or work in social network). While little effort has been made toward exploring the disentangled representation in GCNs. In this paper, we propose a novel Independence Promoted Graph Disentangled Networks (IPGDN) to learn disentangled node representation while enhancing the independence among node representations. In particular, we firstly present disentangled representation learning by neighborhood routing mechanism, and then employ the Hilbert-Schmidt Independence Criterion (HSIC) to enforce independence between the latent representations, which is effectively integrated into a graph convolutional framework as a regularizer at the output layer. Experimental studies on real-world graphs validate our model and demonstrate that our algorithms outperform the state-of-the-arts by a wide margin in different network applications, including semi-supervised graph classification, graph clustering and graph visualization.

연구 동기 및 목표

• 그래프 표현 학습에서 분리된 잠재 요소 간의 명시적 독립성 강제 조치가 부족한 문제를 해결하기 위해.
• 이웃 특징을 별개의 잠재 요소로 라우팅함으로써 분리된 노드 표현을 학습할 수 있는 미분 가능하고 종단간 프레임워크를 개발하기 위해.
• 핵심 기반 독립성 측정법(HSIC)을 GCN에 정규화 요소로 통합하여 학습된 표현 간의 다양성 증가와 중복 감소를 유도하기 위해.
• 분류 및 클러스터링과 같은 후속 작업에서 GCN의 해석 가능성, 내성성, 성능 향상을 위해.
• 분리된 요소 간의 독립성 강제 조건이 더 정보가 풍부하고 구조적으로 의미 있는 노드 표현을 만들어내는지 입증하기 위해.

제안 방법

• 노드의 이웃을 별개의 측면(예: 취미, 직장, 교육 등)으로 분해하여 별도의 표현 학습을 위한 이웃 경로 설정 메커니즘을 도입한다.
• 각 채널이 분리된 잠재 요소에 대응하는 다중 채널 그래프 컬러블레이어를 활용하여 요소별 특징 집계를 가능하게 한다.
• 출력층에서 힐버트-슈미트 독립성 기준(HSIC)을 다양한 정규화 요소로 적용하여 잠재 표현 간 통계적 종속성을 최소화한다.
• 역전파를 통해 표현 학습과 독립성 정규화를 동시에 최적화함으로써 종단간 훈련을 가능하게 한다.
• 비선형 종속성을 캡처하기 위해 핵심 기반 측정법(HSIC)을 사용하여 잠재 요소 간의 통계적 독립성을 보장한다.
• HSIC 정규화 요소를 GCN 프레임워크에 손실 항목으로 통합하여, 초파rameter λ로 제어한다.

실험 결과

연구 질문

• RQ1 GCN에서 분리된 표현 학습이 잠재 요소 간의 통계적 독립성을 명시적으로 강제함으로써 향상시킬 수 있는가?
• RQ2 분리된 요소 간의 독립성 강제 조건이 노드 분류 및 클러스터링과 같은 후속 그래프 학습 작업에 어떤 영향을 미치는가?
• RQ3 힐버트-슈미트 독립성 기준(HSIC)은 그래프 표현 학습에서 독립성을 촉진하기 위한 다양한 정규화 요소로 효과적인가?
• RQ4 독립성 정규화 가중치 λ에 대한 초파rameter 선택에 대해 제안된 IPGDN 모델은 얼마나 내성적인가?
• RQ5 IPGDN은 실생활 그래프, 예를 들어 사회망 또는 인용 네트워크에서 의미 있는, 의미적으로 구분된 잠재 요소를 발견할 수 있는가?

주요 결과

• IPGDN은 Cora, Citeseer, PubMed 데이터셋에서 준지도 학습 노드 분류 작업에서 최신 기준 성능을 초월하여 더 높은 정확도를 달성한다.
• 모델은 그래프 클러스터링 작업에서 뛰어난 성능을 보이며, 분리된 표현과 독립성 덕분에 더 나은 클러스터 품질을 확보한다.
• 시각화 결과는 IPGDN 임베딩이 내부 클래스 유사성과 명확한 클래스 간 분리 특성을 보이며 효과적인 분리가 이루어졌음을 시사한다.
• 독립성 정규화를 위한 초파rameter λ는 넓은 범위(예: [10⁻⁵, 10⁻⁶]) 내에서 내성적이며, λ가 임계값(예: 1.25×10⁻⁵)을 초과할 경우 성능 저하가 발생한다.
• IPGDN은 소수의 반복 횟수 내에서 수렴함으로써 제안된 훈련 방식의 효율성을 확인한다.
• HSIC를 정규화 요소로 사용함으로써 잠재 요소 간의 중복성이 효과적으로 감소하여 더 정보가 풍부하고 다양한 노드 표현을 만들어낸다.