[논문 리뷰] HAHE: Hierarchical Attentive Heterogeneous Information Network Embedding

Sheng Zhou, Jiajun Bu외 3명|arXiv (Cornell University)|2019. 01. 31.

Advanced Graph Neural Networks참고 문헌 45인용 수 23

한 줄 요약

HAHE는 이질적 정보 네트워크(HIN) 임베딩을 위한 계층적 어텐션 기반 기법을 제안하며, 메타 경로와 경로 인스턴스 양쪽 모두에 대해 개인화된 선호도를 모델링한다. 메타 경로 어텐션 및 경로 인스턴스 어テン션 레이어를 적용함으로써, DBLP, Yelp, IMDB와 같은 실세계 데이터셋에서 노드 분류, 클러스터링, 시각화 작업에서 최신 기법들을 능가한다.

ABSTRACT

Heterogeneous information network (HIN) embedding has recently attracted much attention due to its effectiveness in dealing with the complex heterogeneous data. Meta path, which connects different object types with various semantic meanings, is widely used by existing HIN embedding works. However, several challenges have not been addressed so far. First, different meta paths convey different semantic meanings, while existing works assume that all nodes share same weights for meta paths and ignore the personalized preferences of different nodes on different meta paths. Second, given a meta path, nodes in HIN are connected by path instances while existing works fail to fully explore the differences between path instances that reflect nodes' preferences in the semantic space. rTo tackle the above challenges, we propose aHierarchical Attentive Heterogeneous information network Embedding (HAHE) model to capture the personalized preferences on meta paths and path instances in each semantic space. As path instances are based on a particular meta path, a hierarchical attention mechanism is naturally utilized to model the personalized preference on meta paths and path instances. Extensive experiments on several real-world datasets show that our proposed \model model significantly outperforms the state-of-the-art methods in terms of various data mining tasks.

연구 동기 및 목표

• 기존의 HIN 임베딩 기법들이 모든 메타 경로를 동일하게 취급하여 노드별 선호도를 모델링하지 못하는 한계를 해결하기 위해.
• 동일한 메타 경로 내에서의 경로 인스턴스 간 차이를 파악하는 것, 이는 이전 연구에서 자주 忽略되는 요소다.
• 메타 경로 및 경로 인스턴스에 대해 개인화된 어텐션 가중치를 학습시켜 임베딩 품질을 향상시키는 모델을 개발하기 위해.
• 노이즈가 있는 메타 경로 및 경로 인스턴스에 대해서도 강건성을 확보하면서 어텐션 계수를 통해 해석 가능성(해석 가능성)을 향상시키기 위해.
• 계층적 어텐션 기법이 실세계 HIN에서 다양한 데이터 마이닝 작업에 효과적으로 적용될 수 있음을 입증하기 위해.

제안 방법

• HAHE는 두 단계의 어텐션 레이어를 포함하는 계층적 어텐션 기반 기법을 사용한다: 메타 경로 어텐션 레이어와 경로 인스턴스 어텐션 레이어.
• 메타 경로 어텐션 레이어는 각 노드에 맞는 어텐션 계수를 계산하여 개인화된 선호도를 반영한다.
• 경로 인스턴스 어텐션 레이어는 각 메타 경로 내에서 개별 경로 인스턴스에 중요도 점수를 할당하여 관련 연결성을 강조한다.
• 어텐션 계수는 노드 표현과 구조적 맥락을 고려한 신경망을 통해 학습된다.
• 학습된 어텐션 가중치에 기반해 이웃 노드 표현의 가중 평균을 이용해 노드 임베딩을 업데이트한다.
• 학습된 임베딩 공간 내에서 근접성을 유지하기 위해 대trastive 손실을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 계층적 어텐션 기법은 이질적 정보 네트워크에서 메타 경로에 대한 개인화된 선호도를 효과적으로 모델링할 수 있는가?
• RQ2 경로 인스턴스에 대한 어텐션은 관련 연결성과 노이즈 간의 차이를 구분함으로써 임베딩 품질을 향상시킬 수 있는가?
• RQ3 제안된 HAHE 모델은 노드 분류 및 클러스터링 작업에서 최신 기법들을 능가하는가?
• RQ4 어텐션 계수는 각 노드에 대해 가장 관련성이 높은 메타 경로 및 경로 인스턴스를 해석 가능한 방식으로 제공할 수 있는가?
• RQ5 하이퍼파rameter, 예를 들어 임베딩 차원 및 선호도 벡터 크기의 변화에 대해 HAHE의 성능은 얼마나 민감한가?

주요 결과

• HAHE는 Metapath2Vec 및 HIN2Vec과 같은 최신 기법들보다 노드 분류 성능에서 뚜렷한 우월성을 보이며, DBLP, Yelp, IMDB 데이터셋 전반에서 더 높은 Micro-F1 점수를 기록한다.
• t-SNE를 활용한 네트워크 시각화 결과, HAHE는 같은 레이블을 가진 노드들이 서로 뭉쳐 있는 더 명확한 클래스 간 분리 구조를 생성한다.
• 메타 경로의 성능와 학습된 어텐션 계수 간에 강한 정적 상관관계가 존재함을 확인하여, 모델이 의미 있는 선호도를 효과적으로 포착하고 있음을 검증한다.
• 어텐션 계수의 박스 플롯 분석 결과, 동일한 메타 경로에 대해 서로 다른 노드들이 다른 가중치를 할당함을 확인하여, 개인화된 선호도 모델링이 성공적으로 이루어졌음을 입증한다.
• HAHE는 하이퍼파rameter 변화에 대해 강건하며, 임베딩 차원이 50 이상일 경우 성능 저하가 최소화되고 선호도 벡터 차원이 변화하더라도 안정적인 성능을 유지한다.
• 어텐션 기법은 신호 대 노이즈 비율을 향상시키고, 작업에 관련된 노드 및 경로를 강조함으로써 모델의 해석 가능성을 향상시킨다.