[논문 리뷰] HONEM: Network Embedding Using Higher-Order Patterns in Sequential Data.

Mandana Saebi, Giovanni Luca Ciampaglia외 2명|arXiv (Cornell University)|2019. 08. 15.

Advanced Graph Neural Networks참고 문헌 20인용 수 4

한 줄 요약

HONEM은 네트워크 데이터 내 고차원 시간적 및 순차적 의존성을 높은 차수의 이웃 행렬을 구성함으로써 기존 방법의 일차 마르코프 가정의 한계를 극복하는 새로운 네트워크 임bedding 방법을 제안한다. 복잡한 장거리 상호작용 패턴을 모델링함으로써 노드 분류, 링크 예측, 네트워크 재구성 및 시각화에서 최신 기법들을 능가한다.

ABSTRACT

Representation learning offers a powerful alternative to the oft painstaking process of manual feature engineering, and as a result, has enjoyed considerable success in recent years. This success is especially striking in the context of graph mining, since networks can take advantage of vast troves of sequential data to encode information about interactions between entities of interest. But how do we learn embeddings on networks that have higher-order and sequential dependencies? Existing network embedding methods naively assume the Markovian property (first-order dependency) for node interactions, which may not capture the time-dependent and longer-range underlying complex interactions of the raw data. To address the limitation of current methods, we propose a network embedding method for higher-order networks (HON). We demonstrate that the higher-order network embedding (HONEM) method is able to extract higher-order dependencies from HON to construct the higher-order neighborhood matrix of the network, while existing methods are not able to capture these higher-order dependencies. We show that our method outperforms other state-of-the-art methods in node classification, network reconstruction, link prediction, and visualization.

연구 동기 및 목표

• 기존 네트워크 임bedding 방법이 노드 상호작용에서 일차 마르코프 의존성을 가정하는 데서 비롯하는 한계를 해결하기 위해.
• 현재 접근 방식에서 자주 간과되는 순차적 네트워크 데이터 내 고차원 및 시간 의존적 의존성을 모델링하기 위해.
• 원시 순차적 데이터에서 복잡한 장거리 상호작용 패턴을 추출할 수 있는 방법을 개발하기 위해.
• 고차원 구조를 활용하여 노드 분류, 링크 예측 및 네트워크 재구성과 같은 후행 작업에서 성능을 향상시키기 위해.
• 높은 차수의 이웃 행렬 구성을 통해 네트워크 동역학을 더 정확하게 표현하기 위해.

제안 방법

• HONEM은 네트워크 내 노드 간의 순차적 상호작용 패턴을 분석하여 고차원 이웃 행렬을 구성한다.
• 즉각적인 이웃 관계에 의존하지 않고 다단계 상호작용 시퀀스를 포착함으로써 고차원 의존성을 모델링한다.
• 원시 순차적 데이터를 복잡한 시간 의존성을 인코딩한 고차원 네트워크(HON) 구조로 변환한다.
• 고차원 이웃 행렬에 행렬 분해 기법을 적용하여 저차원 노드 임베딩을 학습한다.
• 임베딩 학습 과정에서 네트워크의 상호작용 이력으로부터 구조적 및 순차적 정보를 모두 유지한다.
• 노드 분류 및 링크 예측과 같은 표준 후행 작업과의 호환성을 고려하여 프레임워크를 설계한다.

실험 결과

연구 질문

• RQ1 순차적 네트워크 데이터 내 고차원 의존성을 효과적으로 포착하여 네트워크 임베딩 품질을 향상시킬 수 있는가?
• RQ2 장거리 상호작용 패턴을 모델링하면 노드 분류 및 링크 예측 작업 성능에 어떤 영향을 미치는가?
• RQ3 네트워크 재구성 및 시각화에서 HONEM은 일차 방법보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 고차원 이웃 행렬 표현 방식이 실제 순차적 네트워크의 진정한 동역학을 더 잘 반영할 수 있는가?
• RQ5 순차적 상호작용 패턴이 학습된 임베딩의 전체 표현 능력에 기여하는 정도는 어느 정도인가?

주요 결과

• HONEM은 일차 방법이 모델링하지 못하는 순차적 네트워크 데이터 내 고차원 의존성을 성공적으로 포착한다.
• 순차적 네트워크 데이터셋에서 최신 기준 기법들에 비해 노드 분류 성능에서 뛰어난 성과를 달성한다.
• 즉각적인 이웃을 초월한 장거리 상호작용 패턴을 활용함으로써 링크 예측 정확도가 향상된다.
• 네트워크 재구성 작업에서 HONEM은 기존 방법들보다 구조적 및 순차적 정보를 더 효과적으로 유지한다.
• HONEM 임베딩의 시각화 결과는 더 명확하고 의미 있는 군집 구조를 보여주며, 더 나은 의미적 표현을 의미한다.
• 고차원 이웃 행렬 구성은 더 정확하고 정보가 풍부한 저차원 노드 임베딩을 가능하게 한다.