[논문 리뷰] Predicting Positive and Negative Links with Noisy Queries: Theory & Practice

Charalampos E. Tsourakakis, Michael Mitzenmacher외 4명|arXiv (Cornell University)|2017. 09. 19.

Complex Network Analysis Techniques참고 문헌 35인용 수 13

한 줄 요약

이 논문은 정확도가 1/2 이하인 노이즈가 있는 쌍별 질의를 사용하여 서명된 네트워크에서 양성 및 음성 링크를 예측하기 위한 이론적 프레임워크를 제안한다. 두 가지 알고리즘을 도입한다: 하나는 고확률으로 클러스터 복원을 달성하는 데 최적의 질의 복잡도 O(n log n / δ² + log²n / δ⁶)를 가지며, 다른 하나는 간선 분리 경로를 새로운 특징으로 사용하여 분류 정확도를 향상시킨다—특히 공통 이웃이 없는 노드 쌍에 대해 특히 유의미하다.

ABSTRACT

Social networks involve both positive and negative relationships, which can be captured in signed graphs. The {\em edge sign prediction problem} aims to predict whether an interaction between a pair of nodes will be positive or negative. We provide theoretical results for this problem that motivate natural improvements to recent heuristics. The edge sign prediction problem is related to correlation clustering; a positive relationship means being in the same cluster. We consider the following model for two clusters: we are allowed to query any pair of nodes whether they belong to the same cluster or not, but the answer to the query is corrupted with some probability $0<q<\frac{1}{2}$. Let $\delta=1-2q$ be the bias. We provide an algorithm that recovers all signs correctly with high probability in the presence of noise with $O(\frac{n\log n}{\delta^2}+\frac{\log^2 n}{\delta^6})$ queries. This is the best known result for this problem for all but tiny $\delta$, improving on the recent work of Mazumdar and Saha \cite{mazumdar2017clustering}. We also provide an algorithm that performs $O(\frac{n\log n}{\delta^4})$ queries, and uses breadth first search as its main algorithmic primitive. While both the running time and the number of queries for this algorithm are sub-optimal, our result relies on novel theoretical techniques, and naturally suggests the use of edge-disjoint paths as a feature for predicting signs in online social networks. Correspondingly, we experiment with using edge disjoint $s-t$ paths of short length as a feature for predicting the sign of edge $(s,t)$ in real-world signed networks. Empirical findings suggest that the use of such paths improves the classification accuracy, especially for pairs of nodes with no common neighbors.

연구 동기 및 목표

• 노이즈가 있는 쌍별 질의를 사용하여 서명된 그래프에서 간선의 부호 예측 문제를 다루는 것.
• 노이즈가 있는 응답에도 불구하고 고확률로 기저 클러스터(양성/음성 관계)를 복원할 수 있는 효율적이고 다항식 시간 내에 수행 가능한 알고리즘을 개발하는 것.
• 두 클러스터를 가진 노이즈가 있는 상관관계 클러스터링에서 질의 효율의 이론적 한계를 탐색하는 것.
• 실제 서명된 네트워크에서 링크 부호를 예측하기 위한 간선 분리 경로의 실용적 유용성을 조사하는 것.
• 이론적 결과를 k-클러스터 일반화로 확장하여 향후 연구를 위한 길을 열어주는 것.

제안 방법

• 쌍별 클러스터 소속성에 대한 이진 질의를 사용하여 간선 부호 예측 문제를 노이즈가 있는 상관관계 클러스터링 작업으로 모델링한다.
• 노이즈가 있는 질의의 신뢰도를 정량화하기 위해 δ = 1 − 2q라는 편향 매개변수를 도입하며, 여기서 q는 오류 확률이다.
• 노드 쌍 간의 간선 분리 경로를 통해 신호 편향을 다수결 투표를 통해 증폭하는 재귀적이고 트리 기반 알고리즘을 제안한다.
• 매우수의 편향 렘마를 사용하여 재귀의 각 단계에서 추정기 편향 향상 정도를 수학적으로 경계한다.
• 너비 우선 탐색을 기본 기능으로 사용하여 노드 쌍 간의 간선 분리 경로를 구성하고, 이는 비적응형, 경로 기반 알고리즘의 기초가 된다.
• 확률적 농도 경계와 다수결 함수의 푸리에 분석을 사용하여 질의 복잡도와 성공 확률을 분석한다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 질의의 수가 최적 이하일 때, 고확률로 서명된 그래프의 진짜 클러스터 구조를 복원할 수 있는가?
• RQ2 편향 δ = 1 − 2q는 클러스터 복원의 질의 복잡도와 성공 확률에 어떤 영향을 미치는가?
• RQ3 짧은 길이의 간선 분리 경로가 실세계 서명된 네트워크에서 링크 부호를 예측하는 데 강건한 특징이 될 수 있는가?
• RQ4 노이즈가 있는 질의 하에서 두 클러스터 구조를 복원하는 데 있어서 질의 효율의 이론적 한계는 무엇인가?
• RQ5 제안된 경로 기반 방법은 k-클러스터 설정으로 일반화될 수 있는가?

주요 결과

• 제안된 알고리즘은 O(n log n / δ² + log²n / δ⁶)의 최적 질의 복잡도를 달성하며, 작은 δ를 제외한 모든 경우에서 이전의 Mazumdar와 Saha의 결과를 향상시킨다.
• 이 알고리즘은 다항식 시간 내에 고확률로 두 클러스터 모두를 복원하며, 준다항식 대안보다 뛰어난 성능을 보인다.
• 두 번째 경로 기반 알고리즘은 O(n∆)의 질의를 사용하며, 여기서 ∆ = O(max{1/δ⁴ log n, (1/δ)⁴⁺²⁺²ϵ/ϵ})이며, 고확률로 클러스터를 복원한다—실용적 타당성을 입증한다.
• 실험 결과는 간선 분리 경로를 특징으로 사용할 경우 분류 정확도가 향상되며, 특히 공통 이웃이 없는 노드 쌍에 대해 특히 두드러진다.
• 이론적 분석을 통해 ∆개의 경로를 통해 다수결 투표를 통한 편향 증폭이 추정기 신뢰도를 향상시키며, 각 단계에서 편향이 δ²√∆의 비율로 증가함을 증명한다.
• 다수결 편향 렘마는 E[Xi] ≥ δ를 만족하는 n개의 독립적인 편향된 동전에 대한 다수결 투표가 기대 다수결 편향 min(c₁√n δ, c₂)을 갖는다는 것을 증명하며, 이는 강력한 신호 복원을 가능하게 한다.