[논문 리뷰] Clustering Via Crowdsourcing

Arya Mazumdar, Barna Saha|arXiv (Cornell University)|2016. 04. 07.

Mobile Crowdsensing and Crowdsourcing참고 문헌 37인용 수 19

한 줄 요약

이 논문은 노이즈 있는 유사도 보조 정보를 활용하고 오류가 발생하는 커뮤니티 응답을 처리함으로써 쿼리 복잡도를 크게 줄이는 적응형이며 병렬 처리 가능한 커뮤니티화 알고리즘을 제안한다. 무작위 샘플링, 다수결 투표, 반복적 클러스터 성장 기법을 결합함으로써, 노이즈 있는 조건에서도 n에 대해 비선형보다 작은 복잡도를 달성하는 근사 최적의 쿼리 및 라운드 복잡도를 확보한다.

ABSTRACT

In recent years, crowdsourcing, aka human aided computation has emerged as an effective platform for solving problems that are considered complex for machines alone. Using human is time-consuming and costly due to monetary compensations. Therefore, a crowd based algorithm must judiciously use any information computed through an automated process, and ask minimum number of questions to the crowd adaptively. One such problem which has received significant attention is {\em entity resolution}. Formally, we are given a graph $G=(V,E)$ with unknown edge set $E$ where $G$ is a union of $k$ (again unknown, but typically large $O(n^α)$, for $α>0$) disjoint cliques $G_i(V_i, E_i)$, $i =1, \dots, k$. The goal is to retrieve the sets $V_i$s by making minimum number of pair-wise queries $V imes V o\{\pm1\}$ to an oracle (the crowd). When the answer to each query is correct, e.g. via resampling, then this reduces to finding connected components in a graph. On the other hand, when crowd answers may be incorrect, it corresponds to clustering over minimum number of noisy inputs. Even, with perfect answers, a simple lower and upper bound of $Θ(nk)$ on query complexity can be shown. A major contribution of this paper is to reduce the query complexity to linear or even sublinear in $n$ when mild side information is provided by a machine, and even in presence of crowd errors which are not correctable via resampling. We develop new information theoretic lower bounds on the query complexity of clustering with side information and errors, and our upper bounds closely match with them. Our algorithms are naturally parallelizable, and also give near-optimal bounds on the number of adaptive rounds required to match the query complexity.

연구 동기 및 목표

• 쌍별 인간 쿼리 수를 최소화함으로써 커뮤니티화를 위한 커뮤니티 소싱의 높은 쿼리 비용 문제를 해결한다.
• 표준 연결된 컴ponent 복구에서 Ω(nk) 쿼리 복잡도 이론적 한계를 극복하기 위해 기계가 생성한 유사도 보조 정보를 통합한다.
• 재샘플링을 통한 수정에 의존하지 않고, 오류 확률이 1/2−λ인 노이즈 있는 커뮤니티 응답에 대응하는 알고리즘 설계.
• 확장성 있고 실시간 응용에 필수적인 병렬 실행 모델에서 근사 최적의 라운드 복잡도를 달성한다.
• 정보 이론적 하한과 상한을 제시하여 이론적으로 탴튼 보장을 확립한다.

제안 방법

• f_+가 동일한 클러스터에 속해 있을 경우, f_-가 아닐 경우에 해당하는 노이즈 있는 가중 유사도 행렬 W를 보조 정보로 사용하며, w_{i,j}는 알려지지 않은 분포에서 유도된다.
• √(n log n)개의 정점을 균일하게 무작위로 샘플링하고, 이를 통해 초기 클러스터 탐지용 부분 그래프 G''를 구성하기 위해 모든 쌍에 대한 쿼리를 발행한다.
• G''에서 +1을 양성 응답, -1을 부정 응답으로 간주하여 최고 가중치 부분 그래프 S를 추출하고, 미처리 정점 각각에 대해 c log n개의 쿼리에 대해 다수결 투표를 통해 S를 확장한다.
• 클러스터 성장을 반복적으로 수행하며, 크기가 c log n 이상일 경우 각 클러스터당 O(1)의 라운드 복잡도를 유지하고, 각 성장 단계에 대해 c라운드를 사용한다.
• 재귀적 클러스터링 적용: 초기 샘플링 이후 남은 미처리 정점에 대해 재귀적으로 처리하여, 모든 클러스터가 고확률로 복구되도록 보장한다.
• 정보 이론적 분석을 통해 쿼리 복잡도와 라운드 복잡도를 한계화하며, c = O(1/λ²)가 오류 내성 수준을 제어한다.

실험 결과

연구 질문

• RQ1 보조 정보가 존재할 경우, 커뮤니티화에서 쿼리 복잡도를 Θ(nk) 이하로 낮출 수 있는가?
• RQ2 오류 확률이 1/2−λ인 노이즈 있는 커뮤니티 응답이 존재할 경우, 최소 쿼리 수에 어떤 영향을 미치는가?
• RQ3 적응형이며 병렬 처리 가능한 커뮤니티 소싱 알고리즘에서 쿼리 수와 라운드 복잡도 사이의 최적의 트레이드오프는 무엇인가?
• RQ4 f_+와 f_-가 알려지지 않은 상태에서도, 서브라인어 쿼리 복잡도를 달성할 수 있는 알고리즘이 근사 최적의 성능을 낼 수 있는가?
• RQ5 노이즈 있는 입력과 보조 정보가 존재할 경우, 클러스터링에 대한 쿼리 복잡도의 기본 한계(하한)는 무엇인가?

주요 결과

• 논문은 완벽한 응답이 존재하더라도 쿼리 복잡도가 O(nk)로 하한이 존재함을 규명했지만, 보조 정보가 존재할 경우 이를 n에 대해 비선형으로 줄일 수 있음을 보였다.
• 보조 정보와 완벽한 오라클이 존재할 경우, k = Ω(√n) 또는 k = O(√n / Δ(f_+||f_-)) 조건에서 라운드 복잡도가 최적에 Õ(1) 요인 내에서 근접함을 입증했다.
• 오류가 발생하는 오라클(오류 확률 1/2−λ) 조건에서, 보조 정보가 없더라도 라운드 복잡도가 최적에 Õ(√log n) 요인 내에서 근사함을 입증했다.
• 모든 이항(n,2) 쿼리를 사용하여 진짜 클러스터 구조의 최대 우도 추정치를 고확률로 복구한다.
• 이론적 분석을 통해 쿼리 복잡도가 정보 이론적 한계에 의해 엄격히 제한되며, 상한과 하한 간 격차는 최대 O(√(n log n)/k) 이내임을 보였다.
• 이 방법은 자연스럽게 병렬 처리 가능하며, 각 클러스터 성장 단계에서 오직 O(1) 라운드만 필요하므로 효율적인 분산 실행이 가능하다.