[논문 리뷰] FOBE and HOBE: First- and High-Order Bipartite Embeddings

Justin Sybrandt, Ilya Safro|arXiv (Cornell University)|2019. 05. 27.

Advanced Graph Neural Networks참고 문헌 30인용 수 9

한 줄 요약

이 논문은 간접적이고 동일 유형의 노드 이웃 유사도로 간선을 분해하여 제1차 및 고차 관계를 모델링하는 두 가지 새로운 이분 그래프 임베딩 방법인 FOBE와 HOBE를 제안한다. 대칭 거리(algebraic distance)를 활용하여 의미 있는 구조적 패턴을 우선순위에 두어, 추천 작업에서 성능을 향상시키고 링크 예측에서 경쟁적인 결과를 달성한다. 앙상블 방법을 통해 사전 학습된 임베딩의 공동 학습을 통해 '양쪽의 최고'를 구현하는 표현을 가능하게 한다.

ABSTRACT

Typical graph embeddings may not capture type-specific bipartite graph features that arise in such areas as recommender systems, data visualization, and drug discovery. Machine learning methods utilized in these applications would be better served with specialized embedding techniques. We propose two embeddings for bipartite graphs that decompose edges into sets of indirect relationships between node neighborhoods. When sampling higher-order relationships, we reinforce similarities through algebraic distance on graphs. We also introduce ensemble embeddings to combine both into a "best of both worlds" embedding. The proposed methods are evaluated on link prediction and recommendation tasks and compared with other state-of-the-art embeddings. While being all highly beneficial in applications, we demonstrate that none of the considered embeddings is clearly superior (in contrast to what is claimed in many papers), and discuss the trade offs present among them. Reproducibility: Our code, data sets, and results are all publicly available online at: http://sybrandt.com/2020/fobe_hobe.

연구 동기 및 목표

• 추천 시스템 및 신약 발견과 같은 응용 분야에서 이분 그래프 전용 임베딩 기법의 부족을 해결하기 위해.
• 노드 이웃 내의 간접 관계를 모델링하여 유형별 구조적 특징을 포착하는 방법을 개발하기 위해.
• 일반적인 연결보다 지역적이고 의미 있는 유사도에 중점을 두어 추천 성능을 향상시키기 위해.
• 이분 그래프 임베딩에서 제1차 및 고차 모델링 간의 성능 상호 교환 관계를 평가하기 위해.
• 사전 학습된 임베딩을 공동으로 학습하여 강력하고 통합된 표현을 가능하게 하는 앙상블 방법을 도입하기 위해.

제안 방법

• FOBE는 교차 유형 간선을 공통 이웃에서 유사 유형의 노드 쌍으로 변환하여 직접적이고 제1차 관계를 샘플링한다.
• HOBE는 FOBE를 확장하여 제2차 관계를 통합하고, 이분 그래프에서 대칭 거리를 통해 가중치를 적용하여 강한 국소적 유사도를 강조한다.
• 대칭 거리는 의미 있는 구조적 관계를 우선순위에 두기 위한 히우리스틱으로 사용되어, 약한 또는 일반적인 연결으로 인한 노이즈를 감소시킨다.
• 앙상블 방법은 비선형 변환을 통해 사전 학습된 FOBE 및 HOBE 임베딩을 고정 크기의 은닉층으로 통합한다.
• 자기 정규화 조합 변종은 일반화 성능 향상과 과적합 감소를 위해 공동 임베딩 공간에 노이즈 제거 오토인코더 레이어를 추가한다.
• 두 앙상블 방법 모두 표현 공간에서 유형 간 분리를 유지하면서 통합된 개선된 임베딩을 학습한다.

실험 결과

연구 질문

• RQ1 이분 그래프에서 제1차 및 고차 모델링 전략은 의미 있는 구조적 패턴을 포착하는 데 어떻게 비교되는가?
• RQ2 대칭 거리가 일반적인 연결보다 국소적이고 강한 유사도에 중점을 두어 임베딩 품질을 향상시킬 수 있는가?
• RQ3 FOBE와 HOBE를 앙상블 학습을 통해 조합하면 다양한 이분 그래프 응용 분야에서 우수한 성능을 달성할 수 있는가?
• RQ4 샘플링 비율과 하이퍼파rameter 복잡도는 제안된 임베딩의 견고성과 일반화 능력에 어떤 영향을 미치는가?
• RQ5 추천 또는 링크 예측과 같은 응용 맥락에서 각 방법은 각각 어느 분야에서 가장 효과적인가?

주요 결과

• FOBE는 LastFM 데이터셋에서 0.3778의 점수로 모든 베이스라인보다 높은 추천 성능을 기록했다.
• HOBE는 DBLP 추천 작업에서 뛰어난 성능을 보여, 고차 구조적 패턴을 효과적으로 포착함을 시사한다.
• 앙상블 방법 A.R.Comb.은 LastFM에서 추천 점수 0.3915를 기록하여 공동 표현 학습의 이점을 입증했다.
• Amazon 링크 예측 작업에서는 하이퍼파rameter 수가 증가하면서 과적합 현상이 발생하여 성능이 저하되었다.
• 민감도 분석 결과, HOBE는 낮은 샘플링 비율에서 성능이 더 변동성이 크며, 약 32개의 샘플이 각 노드당 확보된 이후에야 안정성이 향상됨을 확인했다.
• FOBE는 Amazon 데이터셋에서 링크 예측에서 HOBE보다 더 높은 일관성을 보였으며, 이는 대칭 거기가 일부 경우에서 성능 저하를 유도할 수 있음을 시사한다.