[논문 리뷰] AspEm: Embedding Learning by Aspects in Heterogeneous Information Networks

Yu Shi, Huan Gui외 3명|arXiv (Cornell University)|2018. 03. 05.

Advanced Graph Neural Networks참고 문헌 28인용 수 15

한 줄 요약

AspEm는 이질적 정보 네트워크(HIN) 임bedding을 위한 새로운 프레임워크를 제안하며, 영화 네트워크에서 장르나 감독과 같은 다양한 의미적 측면을 별도의 저차원 표현으로 학습하여 의미적 불일치 문제를 완화합니다. 이는 비지도 학습 기반의 데이터셋 전체 통계를 활용해 대표적인 측면을 선택함으로써 연결 예측 및 분류 작업에서 최신 기술(SOTA) 수준의 성능을 달성합니다.

ABSTRACT

Heterogeneous information networks (HINs) are ubiquitous in real-world applications. Due to the heterogeneity in HINs, the typed edges may not fully align with each other. In order to capture the semantic subtlety, we propose the concept of aspects with each aspect being a unit representing one underlying semantic facet. Meanwhile, network embedding has emerged as a powerful method for learning network representation, where the learned embedding can be used as features in various downstream applications. Therefore, we are motivated to propose a novel embedding learning framework---AspEm---to preserve the semantic information in HINs based on multiple aspects. Instead of preserving information of the network in one semantic space, AspEm encapsulates information regarding each aspect individually. In order to select aspects for embedding purpose, we further devise a solution for AspEm based on dataset-wide statistics. To corroborate the efficacy of AspEm, we conducted experiments on two real-words datasets with two types of applications---classification and link prediction. Experiment results demonstrate that AspEm can outperform baseline network embedding learning methods by considering multiple aspects, where the aspects can be selected from the given HIN in an unsupervised manner.

연구 동기 및 목표

• 이질적 정보 네트워크(HIN)에서 서로 다른 관계 유형(예: 장르 대 감독) 간의 의미적 불일치 문제를 해결하기 위해, 단일 임베딩 공간 내에서의 정렬이 잘 되지 않는 문제를 다룹니다.
• HIN의 측면 기반 분해를 통해 미세한 의미적 특징을 포착함으로써 네트워크 표현 학습을 향상시킵니다.
• 작업 전용 레이블이나 지도 학습 없이도 어떤 HIN에서도 대표적인 측면 집합을 선택할 수 있는 비지도, 통계 기반의 방법을 개발합니다.
• 각 측면을 별도로 임베딩하는 것이 통합된 공간 기반의 임베딩 방법보다 후속 작업에서 더 높은 성능을 내는지 입증합니다.

제안 방법

• 의미적 측면(예: 장르, 감독)을 HIN 내에서 별도의 의미적 특징으로 정의하는 개념을 도입합니다.
• 각 선택된 측면에 대해 별도의 저차원 공간에서 노드 임베딩을 독립적으로 학습하는 AspEm 프레임워크를 제안합니다.
• 노드 유형의 동시 발생 빈도와 일관성 점수 기반의 통계적 방법을 활용해 비지도 방식으로 대표적인 측면을 식별하고 선택합니다.
• 각 측면 전용 임베딩 공간에서 로컬 네트워크 구조와 의미적 관계를 유지하기 위해 스킵그램 유사 목적 함수를 사용합니다.
• 각 측면이 기여하는 더 미묘한 표현을 확보하기 위해 측면 전용 임베딩을 조합함으로써 연결 예측 및 노드 분류를 지원합니다.
• 각 측면별 분해를 통해 기존 네트워크 임베딩 방법과의 통합이 가능하도록 확장성을 제공합니다.

실험 결과

연구 질문

• RQ1 서로 다른 의미적 측면을 별도의 임베딩 공간에서 모델링하면 이질적 정보 네트워크에서 표현 학습 성능이 향상되는가?
• RQ2 지도 학습 없이 데이터셋 전체 통계만을 사용해 HIN에서 대표적인 측면 집합을 자동으로 선택할 수 있는가?
• RQ3 제안된 비지도 측면 선택 방법이 다른 조합 대비 더 높은 품질의 측면을 도출하는가?
• RQ4 임베딩 차원과 학습 샘플 수의 변화에 따라 AspEm의 성능은 어떻게 변하는가?
• RQ5 의사결정 기반 임베딩 학습이 연결 예측 및 분류와 같은 후속 작업에서 통합 공간 기반 임베딩 방법보다 우수한 성능을 내는가?

주요 결과

• AspEm는 실세계 HIN인 DBLP와 IMDb에서 연결 예측 및 노드 분류 작업에서 기준 기반 네트워크 임베딩 방법을 모두 초월합니다.
• 제안된 비지도 방법이 선택한 측면 집합 {APRTV, APY}는 DBLP에서 P@1 0.7724, R@10 0.8810을 기록하여 다른 두 측면 조합보다 높은 성능을 달성했습니다.
• 의사결정 점수 임계값이 낮은 품질의 측면 집합을 효과적으로 걸러내었음을 확인할 수 있었으며, 이는 높은 일관성 점수를 가진 다른 모든 조합보다 선택된 집합의 성능이 뛰어났기 때문입니다.
• 임베딩 차원과 샘플링된 간선 수가 증가할수록 모델 성능이 향상되었으며, 약 100차원과 10억 개의 샘플링된 간선에서 안정화되었으며, 이는 이전 연구와 일치합니다.
• 프레임워크는 기존 임베딩 방법에 각 측면별로 독립적으로 적용함으로써 확장성이 있으며, 적용이 가능합니다.
• 결과는 측면 기반 분해가 의미적 불일치 문제를 완화시켜 복잡하고 다면적인 노드 관계를 더 정확하게 표현할 수 있음을 확인합니다.