[논문 리뷰] HeteSpaceyWalk: A Heterogeneous Spacey Random Walk for Heterogeneous Information Network Embedding

Yu He, Yangqiu Song외 4명|arXiv (Cornell University)|2019. 09. 07.

Internet Traffic Analysis and Secure E-voting참고 문헌 42인용 수 12

한 줄 요약

이 논문은 이질적 정보 네트워크(HIN)에서 메타패스 지도형 랜덤 워크를 고차원 마르코프 체인으로 모델링하여 정적 분포 근사치를 향상시키는 이질적 개인화된 스페이시 랜덤 워크(HeteSpaceyWalk)를 제안한다. 접힘 메타패스 간 전이를 동적으로 조정함으로써 확장성 있고 효과적인 노드 임베딩을 가능하게 하며, 네트워크 크기와 선형적인 시간 복잡도를 가지면서도 기존 최고 수준의 방법들을 능가한다.

ABSTRACT

Heterogeneous information network (HIN) embedding has gained increasing interests recently. However, the current way of random-walk based HIN embedding methods have paid few attention to the higher-order Markov chain nature of meta-path guided random walks, especially to the stationarity issue. In this paper, we systematically formalize the meta-path guided random walk as a higher-order Markov chain process, and present a heterogeneous personalized spacey random walk to efficiently and effectively attain the expected stationary distribution among nodes. Then we propose a generalized scalable framework to leverage the heterogeneous personalized spacey random walk to learn embeddings for multiple types of nodes in an HIN guided by a meta-path, a meta-graph, and a meta-schema respectively. We conduct extensive experiments in several heterogeneous networks and demonstrate that our methods substantially outperform the existing state-of-the-art network embedding algorithms.

연구 동기 및 목표

• 기존 HIN 임베딩 방법들이 메타패스 지도형 랜덤 워크의 고차원 마르코프 체인 성격에 주목하지 못한 점을 해결하기 위해.
• 이질적 네트워크 랜덤 워크에서 정적 분포 근사치의 정확도를 향상시켜 더 나은 노드 표현 학습을 달성하기 위해.
• 메타패스에서 메타그래프와 메타스키마로 일반화할 수 있는 확장 가능한 프레임워크를 개발하여 민첩하고 원칙적인 임베딩 학습을 가능하게 하기 위해.
• 대규모 이질적 정보 네트워크에 적합한 효율적이고 선형 시간 복잡도의 임베딩 학습을 가능하게 하기 위해.

제안 방법

• 논문은 메타패스 지도형 랜덤 워크를 고차원 마르코프 체인으로 공식화하여, 전이 확률이 이전 상태에 의존함을 인지한다 (예: APVPA에서 첫 번째와 두 번째 'Paper'의 구분).
• 이를 바탕으로 HeteSpaceyWalk를 도입한다. 이는 비마르코프 성격을 가진 스페이시 랜덤 워크 전략으로, 의미 없는 전이를 건너뛰고 다수의 접힌 메타패스를 동적으로 균형 잡는다.
• 기존 메타패스를 접음으로써 일반화된 메타그래프를 구축하여, 여러 경로 변형을 통합된 워크 프로세스로 통합한다.
• 워크 중에 자가 조정 확률 메커니즘을 적용하여 더 정보가 풍부하거나 빈도가 높은 메타패스 세그먼트를 선호함으로써 탐색 효율성을 향상시킨다.
• 프레임워크는 메타그래프와 메타스키마로 확장되어, 동시에 여러 의미적 패턴에 따라 지도된 임베딩 학습을 가능하게 한다.
• 노드 임베딩은 워크 시퀀스에 대해 스킵그램 모델을 사용하여 학습하며, 학습 복잡도는 노드 수에 대해 선형이며 워드2vec와 유사하게 병렬 처리가 가능하다.

실험 결과

연구 질문

• RQ1 메타패스 지도형 랜덤 워크의 고차원 마르코프 체인 성격을 어떻게 공식화하여 정적 분포 근사치를 향상시킬 수 있는가?
• RQ2 스페이시 랜덤 워크 전략은 이질적 정보 네트워크에서 이웃 샘플링의 효율성과 효과성을 향상시킬 수 있는가?
• RQ3 여러 메타패스를 어떻게 동적으로 균형 잡고 통합하여 단일 워크 프로세스로 만들 수 있는가? 이는 임베딩 품질 향상에 기여하는가?
• RQ4 제안된 방법은 네트워크 크기와 선형적으로 확장되면서도 기존 최고 수준의 HIN 임베딩 모델에 비해 성능을 유지하거나 향상시킬 수 있는가?

주요 결과

• HeteSpaceyWalk는 다양한 이질적 네트워크 벤치마크에서 기존 최고 수준의 HIN 임베딩 알고리즘을 능가하는 뛰어난 성능을 달성한다.
• 더 나은 결과를 얻기 위해 훨씬 적은 워크 스텝 수와 짧은 워크 길이가 필요함을 확인하여 샘플링 효율성이 향상됨을 시사한다.
• 제안된 프레임워크는 노드 수에 대해 선형 시간 복잡도를 보이며, 최대 1,000만 개의 노드를 가진 네트워크에 대해서도 확장 가능하다.
• 합성 네트워크에서의 실험을 통해 랜덤 워크 단계와 학습 단계 모두가 선형 확장성을 확인하였으며, 다양한 네트워크 크기에서 일관된 성능을 보였다.
• 워크 중 메타패스 확률의 동적 자가 조정은 네트워크 내 의미적으로 유의미한 경로 탐색을 더 효과적으로 가능하게 한다.