[논문 리뷰] Sync-Rank: Robust Ranking, Constrained Ranking and Rank Aggregation via Eigenvector and Semidefinite Programming Synchronization

Mihai Cucuringu|arXiv (Cornell University)|2015. 04. 05.

Advanced Statistical Methods and Models참고 문헌 52인용 수 12

한 줄 요약

이 논문은 SO(2) 위에서의 군 동기화 문제로 노이즈가 많고 완전하지 않은 상호 비교 데이터를 정렬하는 데 유 robust한 Sync-Rank를 소개한다. 고유벡터와 정수형 프로그래밍(SDP) 근사를 통해 효율적이고 이론적으로 정확한 해를 확보한다. 실제 데이터셋(Premier League, NCAA 농구, Halo 2)에서 최신 기술을 초월하는 성능을 기록하며, 제약 조건이 있는 정렬, 순위 집계, 局소적으로 일관된 부분 순위 탐지 기능을 제공한다.

ABSTRACT

We consider the classic problem of establishing a statistical ranking of a set of n items given a set of inconsistent and incomplete pairwise comparisons between such items. Instantiations of this problem occur in numerous applications in data analysis (e.g., ranking teams in sports data), computer vision, and machine learning. We formulate the above problem of ranking with incomplete noisy information as an instance of the group synchronization problem over the group SO(2) of planar rotations, whose usefulness has been demonstrated in numerous applications in recent years. Its least squares solution can be approximated by either a spectral or a semidefinite programming (SDP) relaxation, followed by a rounding procedure. We perform extensive numerical simulations on both synthetic and real-world data sets, showing that our proposed method compares favorably to other algorithms from the recent literature. Existing theoretical guarantees on the group synchronization problem imply lower bounds on the largest amount of noise permissible in the ranking data while still achieving exact recovery. We propose a similar synchronization-based algorithm for the rank-aggregation problem, which integrates in a globally consistent ranking pairwise comparisons given by different rating systems on the same set of items. We also discuss the problem of semi-supervised ranking when there is available information on the ground truth rank of a subset of players, and propose an algorithm based on SDP which recovers the ranks of the remaining players. Finally, synchronization-based ranking, combined with a spectral technique for the densest subgraph problem, allows one to extract locally-consistent partial rankings, in other words, to identify the rank of a small subset of players whose pairwise comparisons are less noisy than the rest of the data, which other methods are not able to identify.

연구 동기 및 목표

• 대규모 데이터에서 완전하지 않고 노이즈가 많으며 일관성 없는 상호 비교 데이터로부터 순위를 매기는 문제를 해결하기 위해.
• 동기화 원리를 활용해 강력한 정렬, 제약 조건이 있는 정렬, 순위 집계를 통합하는 통합 프레임워크를 개발하기 위해.
• 군 동기화 이론에서 유도된 이론적 보장을 기반으로, 높은 노이즈 수준에서도 정확한 순위 복원(정확하거나 거의 정확한 복원)을 가능하게 하기 위해.
• 전체 네트워크보다 훨씬 더 신뢰할 수 있는 비교가 이루어지는 일부 아이템 집합이 존재하는 국소적으로 일관된 부분 순위를 탐지하기 위해.
• 스펙트럼 및 SDP 기반 최적화를 결합한 방식으로 기존의 Rank-Centrality와 Least-Squares를 향상시키기 위해.

제안 방법

• 상호 비교를 상대적 각도의 노이즈 있는 측정값으로 모델링함으로써, SO(2) 위에서의 정렬 문제를 동기화 문제로 재구성한다.
• 상호 비교 데이터에서 유도된 행렬의 주된 고유벡터를 통해 스펙트럼 근사를 적용하여 초기 순위 추정치를 계산한다.
• 특히 높은 노이즈 또는 희박한 설정에서의 강건성과 정확도를 향상시키기 위해 정수형 프로그래밍(SDP) 근사를 적용한다.
• 연속적인 SDP 해에서 이산적인 순위를 복원하기 위해 라운딩 절차를 적용하여 관측된 데이터와의 일관성을 확보한다.
• 등차 제약 조건을 포함한 반감독 정렬에서, 알려진 진정 순위를 SDP에 등차 제약 조건으로 적용함으로써 제약 조건을 충족시킨다.
• 잔차 행렬의 무작위 걷기 라플라시안의 첫 번째 비자명한 고유벡터를 분석하여 국소적으로 일관된 부분 순위를 탐지한다. 이는 낮은 노이즈를 가진 조밀한 하위그래프를 식별하는 데 기여한다.

실험 결과

연구 질문

• RQ1 SO(2) 위에서의 군 동기화는 완전하지 않고 노이즈가 많은 상호 비교 데이터를 다루는 정렬 문제에 효과적으로 적용될 수 있는가?
• RQ2 제안된 SDP 및 스펙트럼 근사 접근법은 Rank-Centrality 및 Least-Squares와 같은 최신 기술 대비 정확도와 강건성 측면에서 어떻게 비교되는가?
• RQ3 동기화 기반 정렬은 일부 아이템 집합이 전체 네트워크보다 훨씬 더 신뢰할 수 있는 비교를 가지는 경우, 숨겨진 국소적으로 일관된 부분 순위를 탐지할 수 있는가?
• RQ4 기존의 군 동기화 이론을 기반으로 하여, 노이즈 조건 하에서도 진정 순위의 정확한 복원을 위한 이론적 보장은 무엇을 도출할 수 있는가?
• RQ5 정수형 프로그래밍을 활용해 알려진 순위에 대한 하드 제약 조건을 정렬 과정에 효율적으로 통합할 수 있는가?

주요 결과

• Sync-Rank는 Premier League 축구, NCAA 농구, Halo 2 토너먼트 데이터를 포함한 실제 데이터셋에서 노이즈 모델과 그래프 희박성 수준이 다양한 조건에서도 Rank-Centrality, Least-Squares, Serial-Rank를 모두 능가하는 성능을 기록한다.
• 군 동기화 문헌에서 도출된 이론적 보장에 기반해, 노이즈 수준이 제한된 조건 하에서 진정 순위를 정확히 복원할 수 있다.
• 스펙트럼 및 SDP 근사는 반복적이지 않고 모델에 종속적이지 않은 알고리즘을 제공하며, 희박하고 비균일하게 분포된 데이터에 대해 계산적으로 효율적이고 강건하다.
• 하드 제약 조건이 있는 SDP 기반 접근법은 일부 선수의 순위가 알려진 경우 전체 순위를 성공적으로 복원하며, 제약 조건을 충족시킨다.
• 제안된 방법은 낮은 노이즈를 가진 조밀한 하위그래프를 식별함으로써 국소적으로 일관된 부분 순위를 탐지할 수 있으며, 이는 기존의 표준 정렬 알고리즘에서는 제공되지 않는 기능이다.
• SVD 기반 정렬 변형은 무작위 행렬 이론을 활용한 이론적 분석에 적합하여, 향후 정확한 성능 한계를 도출할 가능성도 있다.