[논문 리뷰] HONE: Higher-Order Network Embeddings

Ryan A. Rossi, Nesreen K. Ahmed외 4명|arXiv (Cornell University)|2018. 01. 28.

Advanced Graph Neural Networks참고 문헌 60인용 수 14

한 줄 요약

HONE은 네트워크 모티프(그래프렛 또는 오르비트)를 활용하여 노드 간 거리에 의존하지 않는 구조적 역할을 포착함으로써 고차원 네트워크 임베딩을 학습하는 일반적인 프레임워크를 제안한다. 모티프 기반 행렬과 그 거듭제곱을 구성함으로써 HONE은 복잡한 연결 패턴을 모델링하며, 다양한 네트워크에서 평균적으로 19%의 상대적 AUC 향상을 달성한다. 이는 근접성에 의존하는 랜덤 워크 기반 방법이 구조적 유사성을 포착하지 못하는 데 비해 HONE이 이를 우수하게 보완함을 시사한다.

ABSTRACT

This paper describes a general framework for learning Higher-Order Network Embeddings (HONE) from graph data based on network motifs. The HONE framework is highly expressive and flexible with many interchangeable components. The experimental results demonstrate the effectiveness of learning higher-order network representations. In all cases, HONE outperforms recent embedding methods that are unable to capture higher-order structures with a mean relative gain in AUC of $19\%$ (and up to $75\%$ gain) across a wide variety of networks and embedding methods.

연구 동기 및 목표

• 랜덤 워크 기반의 노드 임베딩 방법이 노드 간 거리와 노드 식별자에 의존함으로써 고차원 구조적 역할을 포착하지 못하는 한계를 해결하기 위해.
• 서브그래프 패턴(네트워크 모티프)을 기반으로 한 구조적 유사성의 문제를 공식화하여 고차원 네트워크 표현 학습의 기초를 마련하기 위해.
• 모티프 통계와 모티프 기반 행렬을 바탕으로 한 유연하고 일반적인 목적의 임베딩 학습 프레임워크를 개발하기 위해.
• 고차원 연결 패턴을 모델링함으로써 링크 예측과 같은 후행 작업에서 성능 향상이 이루어지는지 확인하기 위해.

제안 방법

• 집합 $\mathcal{H}$ 내의 각 네트워크 모티프 $H_t$ 에 대해, 모티프 수를 간선 가중치로 사용하여 가중치가 부여된 모티프 그래프 $\mathbf{W}_t$ 를 구성한다.
• 모티프 전이 행렬, 모티프 라플라시안, 모티프 그래프의 거듭제곱과 같은 모티프 기반 행렬을 활용하여 고차원 연결 패턴을 인코딩한다.
• 다양한 모티프 기반 행렬에서 정보를 집계함으로써 노드 임베딩을 학습하며, 이는 공간적 근접성과는 무관하게 구조적 역할을 포착한다.
• 프레임워크는 상호 교환 가능한 구성 요소를 지원하여 다양한 모티프 유형과 행렬 공식화의 탄력적 조합을 가능하게 한다.
• 프레임워크는 k단계 모티프 패턴을 분석함으로써 관측되지 않은 간선에 대한 가중치를 자연스럽게 추정할 수 있으며, 이는 링크 예측 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 네트워크 모티프가 포착하는 고차원 연결 패턴은 노드 임베딩을 학습하는 데 효과적으로 활용될 수 있는가? 즉, 구조적 역할을 반영할 수 있는가?
• RQ2 모티프 기반 행렬을 통한 구조적 유사성 모델링은 근접성 기반의 랜덤 워크 방법 대비 링크 예측 성능에서 어떻게 비교되는가?
• RQ3 HONE 프레임워크는 다양한 네트워크 유형과 적용 도메인에 대해 얼마나 일반화될 수 있는가?
• RQ4 모티프 통계와 그 거듭제곱을 통합함으로써 노드 임베딩의 표현력과 성능은 어느 정도 향상되는가?

주요 결과

• 모든 평가된 네트워크와 임베딩 방법에서 HONE은 평균적으로 19%의 상대적 AUC 향상을 달성하며, 특정 경우에서는 최대 75%까지 향상된다.
• 프레임워크는 근접성 편향으로 인해 구조적 유사성을 포착하지 못하는 최신 기술의 랜덤 워크 기반 방법보다 일관되게 뛰어난 성능을 보인다.
• HONE를 통해 학습된 임베딩은 연결 성분이 분리되어 있거나 그래프 상에서 멀리 떨어져 있더라도 유사한 구조적 역할을 가진 노드들을 효과적으로 그룹화한다.
• 모티프 기반 행렬의 사용은 프레임워크가 관측되지 않은 간선에 대한 간선 가중치를 암묵적으로 추정할 수 있게 하여 링크 예측 성능을 향상시킨다.