[논문 리뷰] Equivalence between LINE and Matrix Factorization

Qiao Wang, Zheng Wang외 1명|arXiv (Cornell University)|2017. 07. 19.

Scheduling and Optimization Algorithms참고 문헌 4인용 수 5

한 줄 요약

이 논문은 인기 있는 네트워크 임bedding 방법인 LINE이 수학적으로 행렬 분해와 동치임을 입증한다. LINE(1st)는 무방향 네트워크에서 정점 쌍의 이중화된 점별 상호정보량(PMI)으로 유도된 행렬을 분해하며, LINE(2nd)는 유 방향 네트워크에서 정점-컨텍스트 쌍 간의 PMI를 바탕으로 한 행렬을 분해한다. 이 동치성은 양 변형이 각각 다른 유사도 행렬을 암묵적으로 분해한다는 것을 드러내며, LINE의 확장에 대한 이론적 기반을 제공한다.

ABSTRACT

LINE [1], as an efficient network embedding method, has shown its effectiveness in dealing with large-scale undirected, directed, and/or weighted networks. Particularly, it proposes to preserve both the local structure (represented by First-order Proximity) and global structure (represented by Second-order Proximity) of the network. In this study, we prove that LINE with these two proximities (LINE(1st) and LINE(2nd)) are actually factoring two different matrices separately. Specifically, LINE(1st) is factoring a matrix M (1), whose entries are the doubled Pointwise Mutual Information (PMI) of vertex pairs in undirected networks, shifted by a constant. LINE(2nd) is factoring a matrix M (2), whose entries are the PMI of vertex and context pairs in directed networks, shifted by a constant. We hope this finding would provide a basis for further extensions and generalizations of LINE.

연구 동기 및 목표

• LINE 네트워크 임bedding와 행렬 분해 간의 이론적 동치성을 공식적으로 입증하는 것.
• 무방향 네트워크에서 LINE(1st)가 암묵적으로 분해하는 특정 행렬과 유 방향 네트워크에서 LINE(2nd)가 암묵적으로 분해하는 특정 행렬을 규명하는 것.
• LINE의 행동을 행렬 분해와 연결함으로써 통합된 이론적 프레임워크를 제공하는 것.
• LINE의 향후 일반화 및 개선을 위한 기반을 제공하기 위해 행렬 분해 해석을 기반으로 하는 것.

제안 방법

• LINE(2nd)가 유 방향 네트워크에서 제2차 유사도를 유지함에 따라, 정점-컨텍스트 쌍 간의 PMI에 기반한 행렬 $M^{(2)}$를 암묵적으로 분해함을 증명한다. 이 행렬의 항목은 상수로 이동된 것이다.
• LINE(1st)가 무방향 네트워크에서 제1차 유사도를 유지함에 따라, 정점 쌍 간의 이중화된 PMI에 기반한 행렬 $M^{(1)}$를 암묵적으로 분해함을 증명한다. 이 행렬의 항목은 상수로 이동된 것이다.
• 도수 비례 분포를 따르는 음성 샘플링을 사용하여 최적화 목표를 단순화하고 암묵적 행렬 분해 형태를 유도한다.
• PMI 및 샘플링 파라미터의 함수로 정점 임베딩 간의 최적 내적을 유도하며, $\overrightarrow{v_j}^T \overrightarrow{v_i} = 2PMI(v_i,v_j) - \log k$임을 보여준다.
• 스킵-그램과 음성 샘플링의 이론적 결과를 적용하여, LINE(1st)와 LINE(2nd)가 동일한 원리 하에 암묵적 행렬 분해와 유사함을 보여준다.
• 임베딩 갱신 규칙을 유도하여 학습된 임베딩가 행렬 분해 목표를 충족함을 보여줌으로써 동치성을 검증한다.

실험 결과

연구 질문

• RQ1 LINE(1st)는 네트워크 통계에서 유도된 특정 행렬의 분해와 동치인가?
• RQ2 LINE(2nd)는 유 방향 네트워크에서 정점-컨텍스트 관계를 기반으로 한 행렬의 분해와 동치인가?
• RQ3 LINE의 배경에 있는 암묵적 행렬 분해를 공식적으로 유도하고 특성화할 수 있는가?
• RQ4 PMI와 도수 통계는 LINE에서 학습된 임베딩와 어떻게 관련이 있는가?
• RQ5 LINE(1st)와 LINE(2nd) 임베딩를 연결함으로써 조합하는 데 이론적 기반은 무엇인가?

주요 결과

• LINE(1st)는 행렬 $M^{(1)}$의 분해와 수학적으로 동치이며, 이 행렬의 각 항목 $M^{(1)}_{ij}$는 정점 $v_i$와 $v_j$의 점별 상호정보량(PMI)의 두 배에서 상수 $\log k$를 뺀 값과 같다.
• LINE(2nd)는 정점 $v_i$와 컨텍스트 $v_j$ 간의 PMI에 해당하는 행렬 $M^{(2)}$의 분해와 동치이며, 이 행렬의 각 항목 $M^{(2)}_{ij}$는 상수로 이동된 것이다.
• 음성 샘플링이 도수 비례 분포를 따르는 가정 하에 동치성이 성립하며, 이는 유도 과정을 단순화하면서도 핵심 최적화 구조를 유지한다.
• 유도된 임베딩 내적 $\overrightarrow{v_j}^T \overrightarrow{v_i}$는 직접적으로 $2PMI(v_i,v_j) - \log k$와 일치하며, LINE(1st)의 PMI 기반 해석을 확인한다.
• 이론적 동치성은 LINE이 잘 작동하는 이유를 원리적으로 이해할 수 있게 하며, 행렬 분해 이론을 기반으로 한 향후 확장 가능성을 제공한다.
• 결과는 LINE의 이해를 힌트 기반 설계를 넘어서 일반화하여, 명확한 통계적 기반을 가진 암묵적 행렬 분해의 한 형태로 보여준다.