[논문 리뷰] Out-of-sample Extension for Latent Position Graphs

Minh Tang, Youngser Park외 1명|arXiv (Cornell University)|2013. 05. 21.

Data Management and Algorithms참고 문헌 36인용 수 3

한 줄 요약

이 논문은 잠재 위치 그래프 임bedding에 대한 샘플 외 확장을 제안하여, 전체 그래프를 다시 임베딩하지 않고도 효율적이고 일관된 새로운 정점의 분류를 가능하게 한다. 잠재 위치 모델 하에서 샘플 외 정점의 임베딩이 진짜 잠재 위치로 수렴함을 증명함으로써, 그래프 크기가 커질수록 높은 확률로 보편적으로 일관된 추론이 보장된다.

ABSTRACT

We consider the problem of vertex classification for graphs constructed from the latent position model. It was shown previously that the approach of embedding the graphs into some Euclidean space followed by classification in that space can yields a universally consistent vertex classifier. However, a major technical difficulty of the approach arises when classifying unlabeled out-of-sample vertices without including them in the embedding stage. In this paper, we studied the out-of-sample extension for the graph embedding step and its impact on the subsequent inference tasks. We show that, under the latent position graph model and for sufficiently large $n$, the mapping of the out-of-sample vertices is close to its true latent position. We then demonstrate that successful inference for the out-of-sample vertices is possible.

연구 동기 및 목표

• 잠재 위치 그래프 모델에서 새로운 레이블이 없는 정점(샘플 외 정점)을 분류할 때 전체 그래프를 다시 임베딩하는 데서 발생하는 계산 비효율성을 해결하기 위해.
• 정점 분류의 맥락에서 샘플 외 정점 임베딩의 정확성에 대한 이론적 보장을 수립하기 위해.
• 제안된 샘플 외 확장 방식이 분류와 같은 후행 추론 작업의 일관성을 유지하는지 확인하기 위해.
• 각 새로운 정점마다 전체 스펙트럼 재계산을 대체할 수 있는 계산적으로 효율적인 방법을 제공하기 위해.

제안 방법

• 그래프의 인접행렬 A의 고유분해를 이용하여 인접 스펙트럼 임베딩 기반의 샘플 외 확장 매핑을 제안한다.
• 재생 커널 힐버트 공간 내의 경험 커널 및 투영 연산자로부터 유도된 선형 변환을 통해 샘플 외 정점의 임베딩을 정의한다.
• 경험 투영 부분공간과 진짜 투영 부분공간 사이의 등장각 등장사상(isometric isomorphism)을 이용하여 추정된 잠재 위치와 진짜 잠재 위치 사이의 거리에 상한을 설정한다.
• 집중 부등식과 스펙트럼 수렴 결과를 적용하여 샘플 외 정점의 임베딩 오차를 제어한다.
• 샘플 외 임베딩이 $ O\left(\delta_d^{-3} \sqrt{\frac{\log(n/\eta)}{n\rho_n}} \right) $ 의 속도로 진짜 잠재 위치로 수렴함을 증명한다. 여기서 $ \delta_d $ 는 스펙트럼 간격이고 $ \rho_n $ 는 간선 밀도를 제어한다.
• 랜덤 행렬 이론과 커널 방법의 결과를 활용하여, 매핑이 일관된 분류에 필요한 기하학적 구조를 유지함을 보여준다.

실험 결과

연구 질문

• RQ1 전체 스펙트럼 분해를 다시 계산하지 않고도 그래프의 잠재 공간에 샘플 외 정점을 임베딩할 수 있는가?
• RQ2 잠재 위치 모델 하에서 샘플 외 임베딩이 정점의 진짜 잠재 위치와 얼마나 가까운가?
• RQ3 제안된 샘플 외 확장 방식이 정점 분류의 보편 일관성을 유지하는가?
• RQ4 샘플 외 임베딩이 진짜 잠재 위치로 수렴하는 속도는 얼마인가?
• RQ5 이 방법은 스트리밍 또는 점진적 정점 추가가 일어나는 대규모 그래프에 효율적으로 적용될 수 있는가?

주요 결과

• 샘플 외 정점의 임베딩은 확률적으로 진짜 잠재 위치로 수렴하며, 수렴 속도는 $ O\left(\delta_d^{-3} \sqrt{\frac{\log(n/\eta)}{n\rho_n}} \right) $ 이다. 여기서 $ \delta_d $ 는 스펙트럼 간격이고 $ \rho_n $ 는 간선 밀도를 제어한다.
• 제안된 샘플 외 확장은 초기 임베딩에 포함되지 않은 새로운 정점의 분류가 여전히 보편적으로 일관됨을 보장한다.
• 경험 공간에서 진짜 잠재 공간으로의 매핑이 등장각 등장사상임이 입증되어, 추론에 필요한 기하학적 구조를 유지함을 보여준다.
• 오차 상한은 집중 부등식과 스펙트럼 수렴 결과를 이용하여 유도되었으며, 높은 확률 $ 1 - \eta $ 에서 성립한다.
• 기존 임베딩 기반의 선형 매핑을 사용함으로써 전체 스펙트럼 재계산의 $ O(n^3) $ 비용을 피한다.
• 충분히 큰 $ n $ 에서 잠재 위치 모델 하에서 이론적 보장이 유지되어 새로운 정점에 대한 신뢰할 수 있는 추론이 보장된다.