[논문 리뷰] Multi-Label Graph Convolutional Network Representation Learning

Min Shi, Yufei Tang외 2명|arXiv (Cornell University)|2019. 12. 26.

Text and Document Classification Technologies참고 문헌 29인용 수 4

한 줄 요약

이 논문은 다중 레이블 그래프 컨볼루션 네트워크(Multi-Label Graph Convolutional Network, ML-GCN)를 제안한다. 이는 노드-노드-레이블 및 레이블-레이블-노드 그래프를 모델링함으로써 노드와 레이블 표현을 동시에 학습하는 시아모이스 GCN 프레임워크이다. 단일 목표 함수 내에서 레이블 상관관계와 네트워크 토폴로지를 통합함으로써, 기존 기준 방법에 비해 다중 레이블 노드 분류 성능을 크게 향상시키며, 표현 학습에서 레이블 상호작용의 핵심적인 역할을 입증한다.

ABSTRACT

Knowledge representation of graph-based systems is fundamental across many disciplines. To date, most existing methods for representation learning primarily focus on networks with simplex labels, yet real-world objects (nodes) are inherently complex in nature and often contain rich semantics or labels, e.g., a user may belong to diverse interest groups of a social network, resulting in multi-label networks for many applications. The multi-label network nodes not only have multiple labels for each node, such labels are often highly correlated making existing methods ineffective or fail to handle such correlation for node representation learning. In this paper, we propose a novel multi-label graph convolutional network (ML-GCN) for learning node representation for multi-label networks. To fully explore label-label correlation and network topology structures, we propose to model a multi-label network as two Siamese GCNs: a node-node-label graph and a label-label-node graph. The two GCNs each handle one aspect of representation learning for nodes and labels, respectively, and they are seamlessly integrated under one objective function. The learned label representations can effectively preserve the inner-label interaction and node label properties, and are then aggregated to enhance the node representation learning under a unified training framework. Experiments and comparisons on multi-label node classification validate the effectiveness of our proposed approach.

연구 동기 및 목표

• 기존 그래프 표현 학습 방법이 단순 레이블에만 집중하여 실제 네트워크의 복잡하고 상관관계가 있는 다중 레이블 의미를 포착하지 못하는 한계를 해결하기 위해.
• 레이블-레이블 상관관계와 네트워크 토폴로지를 동시에 활용하여 노드 표현과 레이블 표현 간 상호 강화를 모델링하기 위해.
• 노드 및 레이블 표현 학습을 하나의 목표 함수에 통합하는 통합 학습 프레임워크를 개발하기 위해.
• 레이블 상관관계를 통합함으로써 노드 표현 학습이 향상됨을 검증하기 위해, 특히 부족하게 표현된 또는 상관관계가 있는 레이블에 대해.
• 실제 다중 레이블 네트워크에서 기존 GCN 기반 및 다중 레이블 학습 기준 방법에 비해 제안된 ML-GCN 모델의 우수성을 입증하기 위해.

제안 방법

• 이 방법은 두 개의 시아모이스 GCN을 구성한다: 노드 표현 학습을 위한 노드-노드-레이블 그래프와 레이블 표현 학습을 위한 레이블-레이블-노드 그래프.
• 레이블-레이블-노드 그래프는 공유된 레이블이 부여된 노드를 통해 레이블을 노드로 간주하고, 이를 연결함으로써 레이블 간 상관관계를 모델링하여 상호 의존성을 포착한다.
• 노드 및 레이블 표현은 통합 최적화 목표를 통해 함께 학습되며, 학습 중 상호 보완적 개선이 가능하다.
• 모델은 그래프 컨볼루션 레이어를 사용하여 이웃 노드와 관련된 레이블의 특징을 집계하며, 학습 가능한 파라미터를 엔드 투 엔드로 업데이트한다.
• 노드 및 레이블 표현 업데이트의 동기화를 제어하기 위해 특징 업데이트 빈도(N 및 M)를 도입한다.
• 최종 노드 표현은 레이블 상관관계와 공유된 커뮤니티 구조를 캡처하는 레이블 표현을 집계함으로써 향상된다.

실험 결과

연구 질문

• RQ1 노드 및 레이블 표현의 공동 학습이 기존 GCN을 초월해 다중 레이블 노드 분류 성능을 향상시킬 수 있는가?
• RQ2 레이블 상관관계는 다중 레이블 네트워크에서 노드 표현 학습의 품질에 어떤 영향을 미치는가?
• RQ3 별도의 레이블-레이블-노드 그래프를 통해 레이블-레이블 상호작용을 모델링할 경우 전체 성능에 어떤 영향을 미치는가?
• RQ4 다양한 아키텍처 선택(예: GCN 깊이, 특징 업데이트 빈도)은 레이블 상관관계와 토폴로지를 포착하는 데 모델의 능력에 어떤 영향을 미치는가?
• RQ5 레이블 상관관계를 통합할 경우, 저빈도 또는 높은 상관관계를 가지는 레이블에서 성능 향상은 어느 정도 이루어지는가?

주요 결과

• ML-GCN은 모든 데이터셋에서 GCN 및 ML-GCN node, ML-GCN 1l, ML-GCN 2l 등의 다른 변종보다 뛰어난 성능을 보이며, 공동 노드-레이블 학습의 효과성을 입증한다.
• 학습용 레이블이 부여된 노드 수가 증가할수록 Micro-F1 및 Macro-F1 점수가 높아지며, 이는 모델이 지도 신호에 의존하고 있음을 확인한다.
• 첫 번째 컨볼루션 레이어의 임베딩 크기가 400~450일 때 성능이 최고에 이르며, 이후 정확도가 급격히 감소함으로써 최적의 차원 수를 시사한다.
• 레이블 상관관계는 분류 성능을 크게 향상시킨다: 고영향 레이블(L1)과 강한 상관관계를 가지는 카테고리일수록 ML-GCN을 사용할 경우 정확도 향상이 더 두드러진다.
• 사례 연구 결과, 레이블 상호작용이 핵심적임을 확인한다: ML-GCN은 L1과 상관관계가 있는 L2, L3, L4에서 성능 향상을 보였지만, GCN은 그렇지 못했다.
• 아블레이션 연구 결과, 레이블-레이블 네트워크에서 공통 노드를 특징으로 사용할 경우 레이블 표현 학습이 향상되며, 이는 노드 표현 집계의 향상으로 이어진다.