[논문 리뷰] Semi-supervised Eigenvectors for Large-scale Locally-biased Learning

Toke Jansen Hansen, Michael W. Mahoney|arXiv (Cornell University)|2013. 04. 28.

Face and Expression Recognition참고 문헌 46인용 수 8

한 줄 요약

이 논문은 전역 그래프 라플라시안 고유벡터의 局소-편향된 유사체인 반감독 고유벡터를 소개한다. 이 고유벡터는 선형방정식계를 푸는 방식으로 계산되며, 효율적이고 안정적이며 확장 가능한 局소-편향된 기계학습을 가능하게 한다. 특히, 적응형 임계값을 갖는 확산 기반의 해법(예: Push 알고리즘)을 사용함으로써, 공액 기울기 방법 대비 대규모 네트워크에서 뚜렷한 속도 향상을 이룬다.

ABSTRACT

In many applications, one has side information, e.g., labels that are provided in a semi-supervised manner, about a specific target region of a large data set, and one wants to perform machine learning and data analysis tasks "nearby" that prespecified target region. For example, one might be interested in the clustering structure of a data graph near a prespecified "seed set" of nodes, or one might be interested in finding partitions in an image that are near a prespecified "ground truth" set of pixels. Locally-biased problems of this sort are particularly challenging for popular eigenvector-based machine learning and data analysis tools. At root, the reason is that eigenvectors are inherently global quantities, thus limiting the applicability of eigenvector-based methods in situations where one is interested in very local properties of the data. In this paper, we address this issue by providing a methodology to construct semi-supervised eigenvectors of a graph Laplacian, and we illustrate how these locally-biased eigenvectors can be used to perform locally-biased machine learning. These semi-supervised eigenvectors capture successively-orthogonalized directions of maximum variance, conditioned on being well-correlated with an input seed set of nodes that is assumed to be provided in a semi-supervised manner. We show that these semi-supervised eigenvectors can be computed quickly as the solution to a system of linear equations; and we also describe several variants of our basic method that have improved scaling properties. We provide several empirical examples demonstrating how these semi-supervised eigenvectors can be used to perform locally-biased learning; and we discuss the relationship between our results and recent machine learning algorithms that use global eigenvectors of the graph Laplacian.

연구 동기 및 목표

• 사전 지정된 영역 근처의 국소 데이터 구조를 포착하는 데에 전역 고유벡터의 한계를 해결하기 위해.
• 그래프 내 주어진 시드 세트에 편향된 고유벡터를 계산하는 확장 가능하고 안정적이며 효율적인 방법을 개발하기 위해.
• 사용자가 지정한 영역 근처에서 클러스터링, 세그멘테이션, 커뮤니티 탐지와 같은 국소-편향된 기계학습 작업을 가능하게 하기 위해.
• 전체 행렬 계산이 불가능한 대규모 그래프에서 전통적인 고유벡터 방법의 확장성 문제를 해결하기 위해.
• 전역 고유벡터의 유리한 성질을 계승하면서도 국소적 관련성을 중시하는 실용적인 반감독 학습 프레임워크를 제공하기 위해.

제안 방법

• 해법은 시드 세트로 표현된 편향이 포함된 편향 라플라시안 행렬에서 유도된 선형방정식계의 해로 반감독 고유벡터를 계산한다.
• 고유벡터는 상호 직교화되며, 분산을 최대화하면서도 입력 시드 세트와 잘 상관관계를 유지하도록 구성된다.
• 선형계는 Push 알고리즘과 같은 반복적 확산 기반 알고리즘을 사용해 푼다. 이 알고리즘은 시드 세트에서 시작해 근처 노드로 질량을 전파한다.
• Push 알고리즘은 수렴과 질량 분포를 제어하기 위해 임계값 매개변수 ε를 사용하며, 낮은 ε 값에서 더 빠른 수렴을 이룰 수 있지만 계산 비용은 높아진다.
• 이미 계산된 벡터와의 상관관계를 반복적으로 제거함으로써 다중 반감독 고유벡터를 추출하기 위해 벗기기 절차를 적용한다.
• 특히 공액 기울기 방법이 불가능해지는 대규모 네트워크에서의 확장성을 향상시키기 위해 변형된 방법을 도입한다.

실험 결과

연구 질문

• RQ1 전역 고유벡터의 유리한 성질을 유지하면서도 시드 세트 근처의 국소 데이터 구조에 민감한 고유벡터를 구성할 수 있는가?
• RQ2 특히 전체 고유분해가 불가능한 대규모 그래프에서 이러한 국소-편향 고유벡터를 효율적으로 계산할 수 있는가?
• RQ3 ε와 α와 같은 알고리즘 매개변수의 영향은 계산된 고유벡터와 시드 세트 간의 상관관계에 어떤가?
• RQ4 대규모 네트워크에서 Push와 같은 확산 기반 해법은 공액 기울기 방법에 비해 속도와 확장성 측면에서 어떻게 비교되는가?
• RQ5 이 방법을 사용해 다중 수준의 국소 분석을 위한 상호 직교화된 국소-편향 고유벡터를 추출할 수 있는가?

주요 결과

• 반감독 고유벡터는 입력 레이블과 잘 상관관계를 유지함으로써, 희박하거나 대규모 그래프에서도 시드 세트 근처의 국소 데이터 구조를 효과적으로 포착한다.
• 대규모 설정에서 공액 기울기 방법 대비 Push 알고리즘이 뚜렷한 속도 향상을 이룬다. 절대 실행 시간은 ε를 낮출수록 감소하지만, 비단조화적이지는 않다.
• 대규모 네트워크(예: 30GB 이상의 메모리 사용량을 가지는 웹 크롤링 그래프)에서는 공액 기울기 방법이 불가능해지지만, Push 기반 방법은 여전히 실용적이고 효율적이다.
• 알고리즘은 ε에 매우 민감하며, 낮은 값(예: 1e-6)을 사용할수록 상관관계 감소가 빠르게 나타나며, 다중 고유벡터 추출에 유리하다.
• 고도수 노드에 시드를 설정할 경우 실행 시간이 가장 느리지만, 상관관계 감소 효과도 가장 뛰어나며, 이는 다중 벡터 추출에 이상적인 시드로 작용한다.
• 이 방법은 거대한 그래프에서 확장 가능한 국소-편향 학습을 가능하게 하며, 이미지 세그멘테이션 및 신경 회로 분석과 같은 실생활 응용 분야에서의 실현 가능성을 입증한다.