[논문 리뷰] Unsupervised Attributed Multiplex Network Embedding

Chanyoung Park, Donghyun Kim외 2명|arXiv (Cornell University)|2019. 11. 15.

Advanced Graph Neural Networks참고 문헌 40인용 수 20

한 줄 요약

이 논문은 속성 부여된 복합 네트워크 임베딩을 위한 완전히 비지도 학습 방법인 DMGI를 제안한다. 이 방법은 공통 규칙화와 Deep Graph Infomax에서 영감을 얻은 통합 판별자에 기반해 다중 관계 유형 간에 동시적으로 노드 표현을 학습한다. DMGI는 노드 레이블이나 관계 유형에 대한 명시적 지도 학습 없이도 노드 클러스터링, 유사도 검색, 분류 작업에서 최신 기술을 초월하는 성능을 달성한다.

ABSTRACT

Nodes in a multiplex network are connected by multiple types of relations. However, most existing network embedding methods assume that only a single type of relation exists between nodes. Even for those that consider the multiplexity of a network, they overlook node attributes, resort to node labels for training, and fail to model the global properties of a graph. We present a simple yet effective unsupervised network embedding method for attributed multiplex network called DMGI, inspired by Deep Graph Infomax (DGI) that maximizes the mutual information between local patches of a graph, and the global representation of the entire graph. We devise a systematic way to jointly integrate the node embeddings from multiple graphs by introducing 1) the consensus regularization framework that minimizes the disagreements among the relation-type specific node embeddings, and 2) the universal discriminator that discriminates true samples regardless of the relation types. We also show that the attention mechanism infers the importance of each relation type, and thus can be useful for filtering unnecessary relation types as a preprocessing step. Extensive experiments on various downstream tasks demonstrate that DMGI outperforms the state-of-the-art methods, even though DMGI is fully unsupervised.

연구 동기 및 목표

• 복합 네트워크에서 다중 관계 유형과 노드 속성을 동시에 모델링하지 못하는 기존 네트워크 임베딩 방법의 격차를 해결한다.
• 지역적 인식 편향(예: GCN 또는 무작위 보행)에 의존하는 이전 비지도 방법의 한계를 극복하여 전반적인 그래프 구조를 포괄적으로 포착한다.
• 관계 유형별 임베딩 간 상호 보완적 강화를 가능하게 하되, 노드 속성 정보를 유지하는 프레임워크를 개발한다.
• 노드 레이블이 필요 없이 스스로 지도 학습을 수행할 수 있도록 하여, 레이블링이 비용이 많이 드는 실세계 네트워크에 적합하다.
• 주의 메커니즘을 통해 각 관계 유형의 중요도를 학습함으로써 해석 가능성을 제공하고, 사전 처리 단계에서 관계 필터링을 가능하게 한다.

제안 방법

• 딥 그래프 인포맥스(DGI)를 복합 네트워크에 적응시켜, 국소적 노드 패치와 전반적 그래프 수준 표현 간 상호정보량을 최대화하는 노드 인코더를 훈련한다.
• 관계 유형별 노드 임베딩 간의 불일치를 최소화하는 공통 규칙화 프레임워크를 도입하여, 다양한 그래프 시각화 간의 정렬을 촉진한다.
• 모든 관계 유형에 걸쳐 진짜(그래프 수준 요약, 국소 패치) 쌍과 구분하는 통합 판별자를 설계하여, 관계 유형별로 독립된 판별 없이도 공동 훈련을 가능하게 한다.
• 다중 관계 유형 간 상호작용을 모델링하기 위해 공유 점수 행렬 M을 사용하여, 서로 다른 시각 간의 정보 흐름을 가능하게 한다.
• 그래프 컨볼루션 네트워크(GCNs)를 활용해 노드 속성과 국소 구조를 인코딩하고, DGI 목표에 따라 이를 전반적 표현에 통합한다.
• 각 관계 유형의 중요도를 학습하기 위해 주의 메커니즘을 적용하여 동적 가중치 부여와 사전 처리 단계에서 관련성이 없는 관계의 필터링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 완전히 비지도 프레임워크가 속성 부여된 복합 네트워크에서 다수의 관계 유형에 걸쳐 고품질의 노드 임베딩을 동시에 학습할 수 있는가?
• RQ2 공통 규칙화는 관계 유형별 노드 표현을 정렬하면서도 그들 간 고유한 구조적 정보를 유지하는 데 얼마나 효과적인가?
• RQ3 통합 판별자가 다양한 관계 유형 간에 지도를 통합함으로써 표현 학습을 얼마나 향상시키는가?
• RQ4 DMGI의 주의 메커니즘은 다양한 관계 유형의 상대적 중요도를 정확히 추론할 수 있으며, 이는 사전 처리 또는 관계 선택에 도움이 되는가?
• RQ5 노드 레이블을 사용하지 않고도 DMGI가 노드 분류, 클러스터링, 유사도 검색 등의 하류 작업에서 최신 기술 성능을 달성하는가?

주요 결과

• DMGI는 노드 분류(F1-macro: 0.778 on DBLP), 클러스터링(NMI: 0.554), 유사도 검색(Sim@5: 0.798)에서 최고 성능을 기록하며, 최신 비지도 방법을 압도한다.
• 제거 실험에서 공통 규칙화 목표의 두 번째 항(식 6)을 제거하면 F1-macro가 0.749로 감소하여, 이 항이 정렬 과정에서 핵심적인 역할을 한다는 것을 입증한다.
• 각 관계 유형에 대해 별도의 점수 행렬(M ≠ M^(1) ≠ ... ≠ M^(|R|))을 사용할 경우 성능이 크게 떨어지며(F1-macro: 0.645), 공유 상호작용 모델링의 유용성을 입증한다.
• 노드 속성을 제거하고 인접 행렬만 입력으로 사용할 경우 F1-macro가 0.377로 감소하여, 속성 정보가 표현 품질에 필수적임을 보여준다.
• 속성 행렬 대신 인접 행렬을 무작위로 섞을 경우 성능이 급격히 떨어지며(F1-macro: 0.364), 이는 구조적 정보가 속성 순서 변경보다 훨씬 중요하다는 것을 확인한다.
• DMGI의 주의 메커니즘 ${}_{\text{attn}}$ 은 의미 있는 관계 가중치를 학습하며, 실험 결과에서 읽기 추출에 랜덤 샘플링을 사용할 경우 SAGPool 또는 맥스풀링 대비 성능 저하가 발생함을 보여준다.