[논문 리뷰] Parallel Algorithms for Select and Partition with Noisy Comparisons

Mark Braverman, Jieming Mao외 1명|arXiv (Cornell University)|2016. 03. 16.

Complexity and Algorithms in Graphs참고 문헌 2인용 수 6

한 줄 요약

이 논문은 노이즈 있는, 삭제되는, 노이즈 없는 비교 모델 하에서 선택(Select)과 분할(Partition) 문제에 대한 병렬 알고리즘을 제안하며, 총 비교 횟수와 실수(틀린 위치에 놓인 원소) 사이의 최적의 트레이드오프를 한 번의 라운드와 다중 라운드에서 달성한다. 일관된 상한과 하한을 제시하여, $ dn $번의 비교를 사용할 경우, 한 라운드 알고리즘은 세 모델에서 각각 $ O(n/d) $, $ O(n/(d\gamma)) $, $ O(n/(d\gamma^2)) $의 실수를 하위 확률로 일으키며, 이는 가중치 오차 측정 방식으로도 확장 가능하다.

ABSTRACT

We consider the problem of finding the $k^{th}$ highest element in a totally ordered set of $n$ elements (select), and partitioning a totally ordered set into the top $k$ and bottom $n-k$ elements (partition) using pairwise comparisons. Motivated by settings like peer grading or crowdsourcing, where multiple rounds of interaction are costly and queried comparisons may be inconsistent with the ground truth, we evaluate algorithms based both on their total runtime and the number of interactive rounds in three comparison models: noiseless (where the comparisons are correct), erasure (where comparisons are erased with probability $1-γ$), and noisy (where comparisons are correct with probability $1/2+γ/2$ and incorrect otherwise). We provide numerous matching upper and lower bounds in all three models. Even our results in the noiseless model, which is quite well-studied in the TCS literature on parallel algorithms, are novel.

연구 동기 및 목표

• 비교 결과가 잘못되거나 삭제될 수 있는 노이즈 있는 비교 모델 하에서 선택과 분할에 대한 효율적인 병렬 알고리즘을 설계하기 위해.
• 상호작용 라운드가 비용이 많이 드는 환경(예: 커뮤니티 기반 평가 또는 동료 평가)에서 총 실행 시간(비교 횟수)과 라운드 복잡도 사이의 트레이드오프를 분석하기 위해.
• 세 가지 비교 모델(노이즈 없는, 삭제되는, 노이즈 있는)에 대해 한 라운드 및 다중 라운드 알고리즘의 실수 수(틀린 위치에 놓인 원소)에 대한 날카로운 상한과 하한을 확립하기 위해.
• 예를 들어 $ \text{WRONG}_i \cdot |i-k|^c $의 합과 같은 가중치 오차 측정 방식으로의 분석을 확장하고, 동일한 경계가 상수 요인 내에서 유지됨을 보여주기 위해.
• 실제 분할 기준점 $ k $ 로부터의 거리에 따라 오류가 가중치가 부여된 경우에도 동일한 알고리즘과 하한 경계가 최적임을 보여주기 위해.

제안 방법

• 노이즈 없는, 삭제되는, 노이즈 있는 세 비교 모델 각각에 대해 랜덤화된 한 라운드 알고리즘을 제안하며, 실수를 최소화하기 위해 $ dn $번의 비교를 사용한다.
• 비교 결과를 모델링하기 위해 보조 변수 $ p(i) $ 와 $ q(i) $ 를 사용하는 확률적 분석을 수행한다. 여기서 $ p(i) $ 는 올바른 비교 횟수를, $ q(i) $ 는 노이즈 또는 삭제로 인한 편차를 추적한다.
• 확률 집중 부등식(Markov 및 Berry-Esseen)을 적용하여, 너무 많은 비교가 기대값에서 벗어나는 확률을 제한함으로써, 높은 확률로 정확성을 확보한다.
• 관측된 비교 결과 $ S $ 에 조건을 두고 조건부 확률을 사용하여 원소가 잘못 분류될 가능성을 제한하며, 특히 노이즈 모델에서의 분류 오류에 초점을 맞춘다.
• 반-집중 부등식을 활용하여, 유리한 조건 하에서도 정확한 분류 확률이 1에서 멀리 떨어져 있음을 보여주며, 날카로운 하한 경계를 확립한다.
• 다중 라운드 알고리즘으로의 결과 확장: $ O(n^{1/2+\varepsilon} \text{poly}(\log n)) $의 실수를 가진 2라운드 알고리즘과, $ O(n \cdot \text{poly}(\log n)) $번의 비교를 사용해 높은 확률로 실수 없이 작동하는 3라운드 알고리즘을 설계한다.

실험 결과

연구 질문

• RQ1 노이즈 있는 비교 하에서 분할 문제에 대해 한 라운드 알고리즘의 비교 횟수와 실수 수 사이의 최적 트레이드오프는 무엇인가?
• RQ2 에러율 $ \gamma $ 는 삭제되는 모델과 노이즈 있는 모델에서 한 라운드 알고리즘의 실수 수에 어떤 영향을 미치는가?
• RQ3 동일한 알고리즘 프레임워크로 세 비교 모델(노이즈 없는, 삭제되는, 노이즈 있는) 전반에서 상한과 하한이 일치하는가?
• RQ4 가중치 오차 측정 방식(예: $ \text{WRONG}_i \cdot |i-k|^c $의 합)은 경계의 최적성에 어떤 영향을 미치는가?
• RQ5 다중 라운드 알고리즘은 총 비교 횟수와 라운드 수를 최소화하면서도 높은 확률로 실수 없이 작동할 수 있는가?

주요 결과

• 노이즈 없는 모델에서 $ dn $번의 비교를 사용하는 한 라운드 알고리즘은 높은 확률로 $ O(n/d) $의 실수를 일으키며, 이 경계는 상수 요인 내에서 날카롭다.
• 삭제되는 모델에서 한 라운드 알고리즘은 높은 확률로 $ O(n/(d\gamma)) $의 실수를 일으키며, 이는 점근적으로 최적이다.
• 노이즈 있는 모델에서 한 라운드 알고리즘은 높은 확률로 $ O(n/(d\gamma^2)) $의 실수를 일으키며, 이 경계 역시 날카롭다.
• 모든 한 라운드 알고리즘은 일치하는 하한 경계를 달성한다: $ dn $번의 비교를 사용하는 모든 알고리즘은 세 모델에서 각각 기대값으로서 $ \Omega(n/d) $, $ \Omega(n/(d\gamma)) $, $ \Omega(n/(d\gamma^2)) $의 실수를 가져야 한다.
• 동일한 알고리즘과 하한 경계는 $ \sum \text{WRONG}_i \cdot |i-k|^c $ 와 같은 가중치 오차 측정 방식으로도 확장 가능하며, 임의의 $ c \geq 0 $ 에 대해 동일한 경계가 상수 요인 내에서 유지된다.
• 다중 라운드 알고리즘의 경우, $ n/\varepsilon $번의 비교를 사용하는 2라운드 알고리즘은 높은 확률로 $ O(n^{1/2+\varepsilon} \text{poly}(\log n)) $의 실수를 일으키며, 3라운드 알고리즘은 $ O(n \cdot \text{poly}(\log n)) $번의 비교를 사용해 높은 확률로 실수 없이 작동한다.