[논문 리뷰] Semi-Supervised Learning on Graphs through Reach and Distance Diffusion

Edith Cohen|arXiv (Cornell University)|2016. 03. 30.

Complex Network Analysis Techniques참고 문헌 68인용 수 3

한 줄 요약

이 논문은 그래프에서의 준지도 학습을 위해 Reach Diffusion 및 Distance Diffusion 커널을 도입하며, 네트워크 중심성과 영향 모델을 활용하여 강한 간선을 초월한 방향성 있는 약한 유사도를 포착한다. 이 방법은 확장 가능한 스케칭 알고리즘을 사용하며 실험적으로 레이블 전파보다 뛰어난 성능을 보이며, 소규모 시드 세트에서 랜덤화된 거리 확산 기법이 특히 뛰어난 성능을 보였다.

ABSTRACT

Semi-supervised learning (SSL) is an indispensable tool when there are few labeled entities and many unlabeled entities for which we want to predict labels. With graph-based methods, entities correspond to nodes in a graph and edges represent strong relations. At the heart of SSL algorithms is the specification of a dense {\em kernel} of pairwise affinity values from the graph structure. A learning algorithm is then trained on the kernel together with labeled entities. The most popular kernels are {\em spectral} and include the highly scalable "symmetric" Laplacian methods, that compute a soft labels using Jacobi iterations, and "asymmetric" methods including Personalized Page Rank (PPR) which use short random walks and apply with directed relations, such as like, follow, or hyperlinks. We introduce {\em Reach diffusion} and {\em Distance diffusion} kernels that build on powerful social and economic models of centrality and influence in networks and capture the directed pairwise relations that underline social influence. Inspired by the success of social influence as an alternative to spectral centrality such as Page Rank, we explore SSL with our kernels and develop highly scalable algorithms for parameter setting, label learning, and sampling. We perform preliminary experiments that demonstrate the properties and potential of our kernels.

연구 동기 및 목표

• 희소하고 방향성 있는 네트워크에서 레이블이 적은 경우 준지도 학습의 과제를 해결하기 위해.
• 강한 간선을 초월한 약한 방향성 있는 유사도를 반영하는 커널을 개발하기 위해.
• 스케칭 기법을 활용해 파라미터 튜닝, 레이블 학습, 샘플링에 대한 고도로 확장 가능한 알고리즘을 설계하기 위해.
• 기존 스펙트럼 방법(예: 레이블 전파)과 비교하여 확산 기반 커널의 효과성을 평가하기 위해.
• 현대 임베딩 기반 학습 파이프라인에서 스펙트럼 커널의 대안으로서 이러한 커널의 잠재력을 탐색하기 위해.

제안 방법

• 네트워크의 중심성 및 영향 모델에서 영감을 얻은 Reach Diffusion 및 Distance Diffusion 커널을 제안하며, 다양한 길이의 경로를 통해 영향을 모델링한다.
• 확산 과정을 시뮬레이션하기 위해 랜덤 수명 또는 고정 길이 경로를 사용하며, $\alpha(x) = 1/x^{1.5}$ 또는 $\alpha(x) = 1/\log_2(1+x)$와 같은 감쇠 함수를 적용한다.
• 스케칭 기법을 적용하여 커널 항목의 계산을 확장 가능하게 하여 대규모 그래프에서의 효율적 추정을 가능하게 한다.
• 비대칭 커널에 대해서도 유효한 커널 밀도 추정 공식 $\boldsymbol{f}_i = \frac{\sum_{j \leq n_\ell} \kappa_{ij} \boldsymbol{y}_j}{\sum_{j \leq n_\ell} \kappa_{ij}}$ 을 사용하여 레이블 예측을 수행한다.
• 독립적인 경로 길이를 가진 랜덤화된 기법과 결정론적 스케칭을 활용하여 커널 값의 효율적 추정을 수행한다.
• rMag 및 LoReg 메트릭을 통한 성공 스코어링과 예측 마진 $\Delta_i = \|\overline{\boldsymbol{y}}(S) - \boldsymbol{f}_i\|_2$ 를 활용한 정밀도-재현율 트레이드오프 평가를 수행한다.

실험 결과

연구 질문

• RQ1 Reach 및 Distance Diffusion 커널은 그래프에서의 준지도 학습에서 전통적인 스펙트럼 커널(예: 레이블 전파)과 비교해 어떻게 성능을 내는가?
• RQ2 확산 기반 커널은 사회적 또는 추천 네트워크와 같은 희소하고 실제 세계적인 네트워크에서 약한 방향성 있는 유사도를 효과적으로 모델링할 수 있는가?
• RQ3 고정 길이 또는 결정론적 기법에 비해 랜덤화된 경로 길이 기법이 레이블 예측 품질을 얼마나 향상시키는가?
• RQ4 감쇠 함수 $g(x)$ 및 확산 과정에서의 $\delta$ 와 같은 하이퍼파rameter 선택에 성능이 얼마나 민감한가?
• RQ5 스케칭 기반 근사 기법은 대규모 그래프에서 확장성을 확보하면서도 높은 정확도를 유지할 수 있는가?

주요 결과

• 감쇠 함수 $g(x) = 1/x$ 와 $\delta = 50$ 인 랜덤화된 거리 확산 기법이 가장 뛰어난 성능을 보이며, 레이블 전파 및 기준 기법보다 뚜렷하게 뛰어났다.
• 랜덤화된 기법은 더 많은 시뮬레이션을 통해 크게 향상되었으며, 이는 확률적 경로 길이 샘플링의 가치를 입증했다.
• 소규모 시드 세트에서는 rMag 스코어링 결과, $g(x) = x$ 인 Reach Diffusion 및 $g(x) = 1/x$ 인 랜덤화된 거리 확산 기법이 가장 효과적이었다.
• 감쇠 함수 $\alpha(x) = 1/\log_2(1+x)$ 와 $\delta = 50$ 인 고정 길이 거리 확산 기법은 특히 큰 시드 세트에서 잘 작동했다.
• 기준 기법은 평균 시드 레이블을 사용하여 성공 스코어 0.55를 기록했으며, 이는 클래스 불균형 때문이지만, 모든 확산 기반 기법이 이에 비해 뚜렷하게 향상된 성능을 보였다.
• 결정론적 기법에서는 nn 커널이 성능이 열악했지만, 랜덤화된 기법에서는 뛰어난 성능을 보이며, 이는 경로 다양성이 최근접 이웃 선택보다 더 중요하다는 것을 시사한다.