[논문 리뷰] Beyond Node Embedding: A Direct Unsupervised Edge Representation Framework for Homogeneous Networks

Sambaran Bandyopadhyay, Anirban Biswas외 2명|arXiv (Cornell University)|2019. 12. 11.

Complex Network Analysis Techniques참고 문헌 32인용 수 6

한 줄 요약

이 논문은 동질 네트워크에서 직접적인 엣지 표현 학습을 위해 네트워크를 가중치가 부여된 라인 그래프로 변환하고, 집단적 협화성(collective homophily)을 활용하여 노드 표현에 의존하지 않고 엣지를 학습하는 새로운 비지도 프레임워크인 line2vec을 제안한다. 이 방법은 엣지 중심 작업에서 뛰어난 성능을 보이며, 학습된 엣지 표현 반경과 노드 중심성 지표 간에 강력한 경험적 연관성을 드러낸다.

ABSTRACT

Network representation learning has traditionally been used to find lower dimensional vector representations of the nodes in a network. However, there are very important edge driven mining tasks of interest to the classical network analysis community, which have mostly been unexplored in the network embedding space. For applications such as link prediction in homogeneous networks, vector representation (i.e., embedding) of an edge is derived heuristically just by using simple aggregations of the embeddings of the end vertices of the edge. Clearly, this method of deriving edge embedding is suboptimal and there is a need for a dedicated unsupervised approach for embedding edges by leveraging edge properties of the network. Towards this end, we propose a novel concept of converting a network to its weighted line graph which is ideally suited to find the embedding of edges of the original network. We further derive a novel algorithm to embed the line graph, by introducing the concept of collective homophily. To the best of our knowledge, this is the first direct unsupervised approach for edge embedding in homogeneous information networks, without relying on the node embeddings. We validate the edge embeddings on three downstream edge mining tasks. Our proposed optimization framework for edge embedding also generates a set of node embeddings, which are not just the aggregation of edges. Further experimental analysis shows the connection of our framework to the concept of node centrality.

연구 동기 및 목표

• 현재 평균 노드 표현 합산과 같은 최적화되지 않은 히우리스틱에 의존하는 동질 네트워크에서의 전용 비지도 엣지 표현 학습 방법의 부족을 해결하기 위해.
• 네트워크를 가중치가 부여된 라인 그래프로 변환하여 엣지 수준의 구조적 및 의미적 성질을 유지하면서 직접 엣지 표현을 학습하는 프레임워크를 개발하기 위해.
• 라인 그래프에서 엣지의 이웃 관계를 모델링하기 위해 집단적 협화성 개념을 도입하여 표현 품질을 향상시키기 위해.
• 하류 엣지 중심 작업에서 프레임워크를 검증하고, 단순 집합이 아닌 복합 최적화에서 유도된 강력한 비집합적 노드 표현 생성 능력을 입증하기 위해.
• 학습된 엣지 표현 반경과 고전적 노드 중심성 지표 간의 비자명한 경험적 연결 고리를 밝혀내기 위해.

제안 방법

• 각 엣지가 노드가 되고 엣지 가중치가 구조적 유사성 또는 동시 발생 패턴을 반영하도록 원본 네트워크를 가중치가 부여된 라인 그래프로 변환한다.
• 라인 그래프에서 엣지의 이웃 관계를 모델링하기 위해 집단적 협화성 개념을 도입하여 이웃 엣지들의 집합적 행동을 포착한다.
• 가중치가 부여된 라인 그래프에 적합하게 조정된 skip-gram과 음성 샘플링 기반 최적화 목표를 설정하여 엣지 표현을 학습한다.
• 학습된 엣지 표현을 사용하여 단순히 엣지 벡터의 집합이 아닌 공동 최적화에서 유도된 노드 표현을 유도한다.
• 라인 그래프에서 각 노드의 엣지 표현 주변에 반경 $ R_u $ 를 정의하여 노드 이웃의 다양성과 연결성을 반영한다.
• t-SNE 시각화와 상관 분석을 적용하여 엣지 및 노드 표현의 품질과 중심성과의 관계를 평가한다.

실험 결과

연구 질문

• RQ1 노드 표현의 히우리스틱 집합을 피하는 직접적인 비지도 엣지 표현 학습 프레임워크를 설계할 수 있는가?
• RQ2 가중치가 부여된 라인 그래프와 집단적 협화성을 사용하는 제안된 line2vec 프레임워크는 노드 집합 기반 기준선 대비 엣지 표현 품질에서 어떻게 비교되는가?
• RQ3 학습된 엣지 표현 반경 $ R_u $ 와 중심성 지표인 중간성 및 가까움 중심성 간의 관계는 어떠한가?
• RQ4 이 프레임워크는 단순히 엣지 표현에서 파생되지 않는 의미 있는, 비자명한 노드 표현을 생성할 수 있는가?
• RQ5 이 프레임워크는 링크 예측 및 엣지 클러스터링과 같은 엣지 중심 하류 작업에서 성능 향상에 얼마나 기여하는가?

주요 결과

• t-SNE 플롯이 엣지 커뮤니티를 명확히 분리하는 것으로 보여지듯, line2vec 프레임워크는 노드 집합 기반 기준선 대비 뛰어난 엣지 시각화 및 클러스터링 성능을 달성한다.
• 합성 그래프에서 학습된 반경 $ R_u $ 와 중간성 중심성 간 피어슨 상관계수는 0.86에 도달하며, 실제 데이터셋에서는 0.68~0.81로 높은 수준을 유지한다.
• 실제 네트워크에서 $ R_u $ 와 가까움 중심성 간 상관계수 범위는 0.59에서 0.79로, 노드 중심성과 강력한 경험적 연관성을 보여준다.
• 이 프레임워크는 단순 평균 또는 하다르드 곱이 아닌, 더 풍부한 표현 학습 과정을 반영하는 강력한 노드 표현을 생성한다.
• 세 가지 하류 엣지 마이닝 작업에서 기준선 집합 기법보다 성능이 뛰어나 직접 엣지 표현의 효과성을 입증한다.
• 최적화 프레임워크는 엣지 표현 기하학과 노드 중심성 간의 비자명한 구조적 연결 고리를 드러내며, $ R_u $ 를 기반으로 한 새로운 중심성 지표의 가능성 제안한다.