[논문 리뷰] Structural Deep Embedding for Hyper-Networks

Ke Tu, Peng Cui외 3명|arXiv (Cornell University)|2017. 11. 28.

Advanced Graph Neural Networks인용 수 73

한 줄 요약

DHNE는 이질적 하이퍼-네트워크에서 분해 불가능한 하이퍼엣지에 대해 비선형 튜플별 유사도 함수와 2차 이웃 자동 인코더를 사용하여 노드 임베딩을 학습하고, 여러 데이터셋에서 최첨선 벤치마크들을 능가한다.

ABSTRACT

Network embedding has recently attracted lots of attentions in data mining. Existing network embedding methods mainly focus on networks with pairwise relationships. In real world, however, the relationships among data points could go beyond pairwise, i.e., three or more objects are involved in each relationship represented by a hyperedge, thus forming hyper-networks. These hyper-networks pose great challenges to existing network embedding methods when the hyperedges are indecomposable, that is to say, any subset of nodes in a hyperedge cannot form another hyperedge. These indecomposable hyperedges are especially common in heterogeneous networks. In this paper, we propose a novel Deep Hyper-Network Embedding (DHNE) model to embed hyper-networks with indecomposable hyperedges. More specifically, we theoretically prove that any linear similarity metric in embedding space commonly used in existing methods cannot maintain the indecomposibility property in hyper-networks, and thus propose a new deep model to realize a non-linear tuplewise similarity function while preserving both local and global proximities in the formed embedding space. We conduct extensive experiments on four different types of hyper-networks, including a GPS network, an online social network, a drug network and a semantic network. The empirical results demonstrate that our method can significantly and consistently outperform the state-of-the-art algorithms.

연구 동기 및 목표

• 이질적 하이퍼네트워크에서 분해 불가능한 고차 관계를 다룬다.
• 임베딩에서 로컬(일차) 및 글로벌(이차) 근접성을 모두 보존한다.
• 분해가능성 이슈를 피하기 위해 비선형 튜플별 유사도 함수를 제안한다.
• 튜플별 유사도 모델과 이웃 보존 자동인코더를 공동 최적화한다.
• 다양한 실세계 하이퍼-네트워크 데이터셋에서 효과성과 확장성을 입증한다.

제안 방법

• 하이퍼엣지의 모든 노드에서 작동하는 분해 불가능한 N-튜플 유사도 함수를 정의하고 선형 유사도가 분해 불가능성을 보존할 수 없음을 증명한다.
• 튜플별 유사도를 딥 뉴럴 네트워크로 모델링하여 비선형성과 일차 근접성과의 정렬을 보장한다(시그모이드 기반 손실을 통해).
• 하이퍼-네트워크 인접(발현) 행렬에 대한 깊은 자동인코더를 사용하여 이차 근접성과 이웃 구조를 보존한다.
• 손실 L = L1 + α L2로 튜플별 유사도 네트워크와 자동인코더를 함께 최적화한다.
• 음수 샘플링을 포함한 확률적 경사 하강법으로 모델을 학습한다.
• 새 노드의 인접 벡터를 해당 자동인코더에 전달하여 샘플 외 확장을 제공한다.

실험 결과

연구 질문

• RQ1 선형 튜플별 유사도 함수가 임베딩에서 분해 불가능한 하이퍼엣지 구조를 보존할 수 있는가?
• RQ2 하이퍼네트워크에서 일차(들어간 노드 수/엣지 존재) 및 이차 이웃 구조의 근접성을 어떻게 공동으로 보존할 수 있는가?
• RQ3 비선형 튜플별 심층 모델이 분해 가능하거나 쌍별 기반 벤치마크보다 하이퍼-네트워크 작업에서 성능이 우수한가?
• RQ4 제안된 DHNE가 대규모 이질적 하이퍼-네트워크에 확장 가능한가?

주요 결과

방법	GPS	MovieLens	drug	wordnet
DHNE	0.9598	0.9344	0.9356	0.9073
tensor	0.9229	0.8640	0.7025	0.7771
HEBE	0.9337	0.8772	0.8236	0.7391

• DHNE는 네 가지 실세계 하이퍼-네트워크에서 네트워크 재구성 기준으로 일관되게 벤치마크를 능가한다.
• 이 방법은 희소한 데이터셋에서 강건함을 보이며, 희소성 민감 영역에서 더 큰 이점을 보인다.
• 분해 불가능성 보존과 이차 근접성의 도입은 고차 관계를 분해 가능하다고 가정하는 방법들에 비해 예측 성능이 크게 향상된다.
• 비선형 튜플별 유사도와 자동인코더 기반 근접성의 공동 최적화가 이전 방법들보다 로컬 및 글로벌 구조를 더 잘 보존한다.
• 학습 복잡도는 노드 수에 선형적으로 스케일링되어 대규모 적용을 가능하게 한다.