[논문 리뷰] Factorizable Graph Convolutional Networks

Yiding Yang, Zunlei Feng외 2명|arXiv (Cornell University)|2020. 10. 12.

Advanced Graph Neural Networks참고 문헌 20인용 수 70

한 줄 요약

FactorGCN은 간단한 입력 그래프를 여러 팩터 그래프로 분리하여 잠재 관계를 나타내고, 관계별로 집계하며, 결과를 결합하여 해석 가능하고 향상된 노드 특성을 생성합니다.

ABSTRACT

Graphs have been widely adopted to denote structural connections between entities. The relations are in many cases heterogeneous, but entangled together and denoted merely as a single edge between a pair of nodes. For example, in a social network graph, users in different latent relationships like friends and colleagues, are usually connected via a bare edge that conceals such intrinsic connections. In this paper, we introduce a novel graph convolutional network (GCN), termed as factorizable graph convolutional network(FactorGCN), that explicitly disentangles such intertwined relations encoded in a graph. FactorGCN takes a simple graph as input, and disentangles it into several factorized graphs, each of which represents a latent and disentangled relation among nodes. The features of the nodes are then aggregated separately in each factorized latent space to produce disentangled features, which further leads to better performances for downstream tasks. We evaluate the proposed FactorGCN both qualitatively and quantitatively on the synthetic and real-world datasets, and demonstrate that it yields truly encouraging results in terms of both disentangling and feature aggregation. Code is publicly available at https://github.com/ihollywhy/FactorGCN.PyTorch.

연구 동기 및 목표

• 비정형 그래프 도메인에서 서로 다른 잠재 관계가 단일 엣지로 축약되는 상황에서 분리(disentangling)를 동기화합니다.
• 입력 그래프를 여러 잠재 관계 그래프로 분해하는 그래프 컨볼루션 프레임워크를 제안합니다.
• 팩터별 집계 및 병합을 통해 블록 단위의 해석 가능한 특징 학습을 가능하게 합니다.
• 그래프 수준의 분리가 해석 가능성과 작업 성능을 모두 향상시킨다는 것을 입증합니다.]

제안 방법

• 엣지 가중치를 그래프 어텐션 메커니즘과 유사하게 생성하는 분리 레이어를 통해 입력 그래프를 여러 팩터 그래프로 분해합니다.
• 각 팩터 그래프에 전용 GCN을 적용해 잠재 특징을 얻습니다.
• 팩터별 특징을 연결(concatenation)하여 최종 노드 표현을 형성합니다.
• 팩터 그래프를 구조적으로 구별 가능하도록 하는 판별기 헤드를 도입하여 다양한 분리된 요인을 촉진합니다.
• 작업 손실과 판별기 손실의 조합으로 학습하며 파라미터 lambda로 균형을 맞춥니다.
• GED_E 및 C-Score 메트릭을 도입하고 사용하여 분리 품질을 평가합니다.]

실험 결과

연구 질문

• RQ1 FactorGCN이 엣지 타입 라벨 없이 단일 입력 그래프로부터 분리된 잠재 관계 그래프를 학습할 수 있습니까?
• RQ2 팩터별 집계가 일반 GCN 및 관련 분리 방법과 비교하여 다운스트림 작업을 개선합니까?
• RQ3 모델이 GED_E 및 C-Score와 같은 그래프 기반 지표로 분리 품질을 정량화할 수 있습니까?
• RQ4 엣지 타입 정보를 명시적으로 사용하지 않고도 일반 그래프 분류 벤치마크에서 경쟁력을 유지하는 일반 GCN 프레임워크인가요?

주요 결과

• FactorGCN은 합성 데이터에서 분리 지표 및 다운스트림 작업 모두에서 최첨단 성능을 달성합니다.
• ZINC에서 FactorGCN은 여러 베이스라인을 앞서고 에지 정보 없이도 에지 타입 인식 방법의 성능과 일치합니다.
• FactorGCN은 그래프 분류 데이터셋에서 일관되게 강력한 정확도를 보이며 자주 DL 기반 베이스라인을 능가하고 최첨단 방법과 일치하거나 이를 능가합니다.
• 정성 분석은 학습된 팩터 그래프가 차단 방식의 잠재 특징을 포착해 다운스트림 성능 개선과 상관관계가 있음을 보여줍니다.
• 소거(ablation) 분석은 판별기가 분리에 결정적이며 실제 진실에 가까운 요인 수를 가진 경우 결과가 향상됨을 시사합니다.