[논문 리뷰] Random Spanning Trees and the Prediction of Weighted Graphs

Nicolò Cesa‐Bianchi, Claudio Gentile외 2명|arXiv (Cornell University)|2012. 12. 21.

Complex Network Analysis Techniques참고 문헌 30인용 수 30

한 줄 요약

이 논문은 가중치가 부여된 그래프에서 이진 노드 레이블을 예측하기 위해 랜덤 스패닝 트리를 활용한 랜덤화된 온라인 학습 알고리즘을 제안한다. 이 알고리즘은 예측 오류를 최소화하기 위해 설계되었으며, 랜덤 스패닝 트리의 기대 컷사이즈가 최적의 오류 한계를 로그 인자까지 정확히 특성화함을 증명한다. 선형 공간을 사용하면서도 예측당 상수 시간의 분할 평균 시간을 달성하여 실질적으로 글로벌 및 로컬 방법보다 뛰어난 성능을 보이며, 이론적으로도 최적성을 유지한다.

ABSTRACT

We investigate the problem of sequentially predicting the binary labels on the nodes of an arbitrary weighted graph. We show that, under a suitable parametrization of the problem, the optimal number of prediction mistakes can be characterized (up to logarithmic factors) by the cutsize of a random spanning tree of the graph. The cutsize is induced by the unknown adversarial labeling of the graph nodes. In deriving our characterization, we obtain a simple randomized algorithm achieving in expectation the optimal mistake bound on any polynomially connected weighted graph. Our algorithm draws a random spanning tree of the original graph and then predicts the nodes of this tree in constant expected amortized time and linear space. Experiments on real-world datasets show that our method compares well to both global (Perceptron) and local (label propagation) methods, while being generally faster in practice.

연구 동기 및 목표

• 그래프 이론적 파라미터로 온라인 이진 레이블링의 기본적인 어려움을 특성화하기 위해.
• 가중치가 부여된 그래프 예측 문제에 대해 하한과 상한을 모두 설정하여 이론적 이해의 격차를 메우기 위해.
• 최적의 오류 한계를 로그 인자까지 근사하는 계산적으로 효율적인 알고리즘을 설계하기 위해.
• 실세계 데이터셋에서 글로벌(예: 퍼셉트론) 및 로컬(예: 레이블 전파) 방법보다 실용적으로 뛰어난 성능을 보여주기 위해.

제안 방법

• 방법은 엣지 확률이 유효 저항과 관련된 킬리히오프의 매트릭스-트리 정리를 활용하여 원래의 가중치가 부여된 그래프에서 랜덤 스패닝 트리를 구성한다.
• 스패닝 트리를 경로로 선형화함으로써 선형화된 구조에서 최근접 이웃 규칙을 효율적으로 적용할 수 있도록 한다.
• 선형화된 트리 위에서 가중치가 부여된 다수결 투표(WTA 또는 NWWTA)를 사용하여 노드 레이블을 예측하며, 각 노드당 예측에 대해 상수 분할 평균 시간이 소요된다.
• 예측 오류의 기대 수는 적대적 컷에 속한 엣지의 유효 저항의 합으로 계산되는 랜덤 스패닝 트리의 기대 컷사이즈로 제한된다.
• 노이즈가 있거나 불확실한 레이블을 가진 실세계 응용 프로그램에서 바람직한 성질인 레이블 변동에 대한 내성성을 지닌다.
• 모든 스패닝 트리에 대해 균일하게 샘플링할 수 있도록 행렬 행렬식 샘플링을 변형한 방법을 사용하여 알고리즘을 구현한다.

실험 결과

연구 질문

• RQ1 온라인 이진 레이블링에서 가중치가 부여된 그래프의 예측 오류 수에 대한 기본 하한은 무엇인가?
• RQ2 랜덤 스패닝 트리의 기대 컷사이즈가 가중치가 부여된 그래프 설정에서 최적의 오류 한계를 날카롭게 특성화할 수 있는가?
• RQ3 최적의 오류 한계를 로그 인자까지 근사하면서도 저비용의 계산을 유지하는 실용적인 온라인 알고리즘이 존재하는가?
• RQ4 실세계 데이터셋에서 제안된 방법의 정확도 및 효율성 측면에서 글로벌 및 로컬 학습 기반 방법과의 성능 비교는 어떻게 되는가?

주요 결과

• 랜덤 스패닝 트리의 기대 컷사이즈는 최적의 오류 한계를 로그 인자까지 정확히 특성화하는 데 사용될 수 있으며, 이는 가중치가 부여된 그래프에서의 온라인 이진 레이블링에 대해 유효하다.
• 제안된 알고리즘은 기대적으로 최적의 오류 한계를 달성하며, 예측당 상수 분할 평균 시간과 선형 공간 사용량을 유지한다.
• USPS-100 데이터셋에서 50% 훈련/테스트 분할 시 평균 오류율이 15.29%를 기록하여 레이블 전파(15.13%) 및 글로벌 방법보다 뛰어났다.
• KROGAN 데이터셋에서 17% 훈련 분할 시 오류율이 14.55%로 레이블 전파(14.66%) 및 글로벌 방법보다 뛰어났다.
• WEBSPAM 데이터셋에서 3* 샘플링 조건에서 테스트 오류율이 6.44%를 기록하여 레이블 전파(12.84%) 및 글로벌 방법보다 뚜렷이 뛰어났다.
• 실험을 통해 레이블 노이즈의 수준이 다양할 때에도 일관된 성능을 보이며, 알고리즘이 레이블 변동에 대해 강건함을 입증했다.