[논문 리뷰] Minimax Rates and Efficient Algorithms for Noisy Sorting

Cheng Mao, Jonathan Weed외 1명|arXiv (Cornell University)|2017. 10. 28.

Game Theory and Voting Systems참고 문헌 36인용 수 15

한 줄 요약

이 논문은 부분 관찰 하에서 노이즈 있는 정렬 모델에서 잠재 순열을 학습하는 데 있어 최소 최대 최적 속도를 확립하며, 순열 거리 엔트로피의 새로운 분석을 통해 로그 요소가 없는 속도를 달성한다. 이는 Õ(n²) 시간 복잡도를 가지는 다단계 정렬 알고리즘을 제안함으로써 달성되며, 이는 표본 추출을 반복하는 설정에서 이 문제에 대해 이론적 보장을 갖는 첫 번째 효율적인 알고리즘이다.

ABSTRACT

There has been a recent surge of interest in studying permutation-based models for ranking from pairwise comparison data. Despite being structurally richer and more robust than parametric ranking models, permutation-based models are less well understood statistically and generally lack efficient learning algorithms. In this work, we study a prototype of permutation-based ranking models, namely, the noisy sorting model. We establish the optimal rates of learning the model under two sampling procedures. Furthermore, we provide a fast algorithm to achieve near-optimal rates if the observations are sampled independently. Along the way, we discover properties of the symmetric group which are of theoretical interest.

연구 동기 및 목표

• 순열 기반 순위 모델에서의 통계-계산 갭을 해소하기 위해 부분 관찰 하에서 노이즈 있는 정렬 모델의 최소 최대 최적 비율을 확립한다.
• 다항 시간 복잡도를 갖는 근사 최적 추정 비율을 달성하는 효율적인 알고리즘을 개발한다.
• 케נדל 타우 거리 하에서 대칭군의 거리 엔트로피를 분석하여 최소 최대 비율에서 로그 요소가 없는 이유를 설명한다.
• 표본 추출을 반복하는 모델에서 다단계 정렬 알고리즘에 대한 이론적 보장을 제공한다.
• 브래들리-터니-럭 또는 셰르스턴 모델과 같은 비모수적 가정을 초월한 비모수적 순위 모델에 대한 이해를 확장한다.

제안 방법

• 저자들은 표본 추출을 반복하거나 반복하지 않는 두 가지 샘플링 체계 하에서 노이즈 있는 정렬 모델의 최소 최대 위험을 분석한다.
• 케נדל 타우 거리 하에서 순열 집합의 거리 엔트로피를 연구함으로써 최소 최대 비율을 유도하며, 이 비율이 로그 요소를 수반하지 않음을 보여준다.
• 다단계 정렬 알고리즘(MS)을 제안하며, 이는 쌍별 비교 결과를 반복적으로 이용해 점수 추정치를 개선한다.
• 알고리즘은 신뢰 구간을 사용하고, 경험적 점수 및 농도 불등식에 기반한 후보 집합의 적응적 축소를 수행한다.
• 이론적 분석을 통해 MS 알고리즘이 고확률적으로 추정 오차가 O(n²N⁻¹(log n)(log log n)) 이내임을 증명한다.
• 활성 집합 크기의 재귀적 경계를 활용하여 반복 과정에서 집합 크기가 지수적으로 감소함을 보여준다.

실험 결과

연구 질문

• RQ1 쌍별 비교의 일부만 관찰 가능한 경우, 노이즈 있는 정렬 모델에서 잠재 순열을 추정하는 최소 최대 비율은 무엇인가?
• RQ2 순열 기반 모델의 최소 최대 비율에서 로그 요소가 없는 이유는 무엇이며, 이는 대칭군의 어떤 구조적 성질에 기인하는가?
• RQ3 다항 시간 복잡도를 갖는 근사 최적 추정 비율을 달성하는 효율적인 알고리즘을 설계할 수 있는가?
• RQ4 표본 추출을 반복하는 조건에서 다단계 정렬 알고리즘이 근사 최적 성능을 달성하는가?
• RQ5 다단계 알고리즘의 이론적 보장은 표본 추출을 반복하지 않는 경우로도 확장 가능한가?

주요 결과

• 표본 추출을 반복하는 조건에서 노이즈 있는 정렬 모델에서 잠재 순열을 학습하는 최소 최대 비율은 O(n²N⁻¹(log n)(log log n))이며, n에 대한 의존성에서 로그 요소가 없다.
• 최소 최대 비율에서 로그 요소가 없는 것은 케נדל 타우 거리 하에서 대칭군의 정확한 거리 엔트로피 분석에 의해 설명된다.
• 다단계 정렬 알고리즘은 고확률적으로 추정 오차가 O(n²N⁻¹(log n)(log log n)) 이내이며, 다항로그 인자 외에는 최소 최대 비율과 일치한다.
• 알고리즘은 Õ(n²) 시간 내에 실행되며, 이는 표본 추출을 반복하는 설정에서 이 문제에 대해 이론적 보장을 갖는 첫 번째 효율적인 알고리즘이다.
• 이론적 분석을 통해 알고리즘의 출력 순열이 모든 i에 대해 |π̂(i) - i| ≤ O(n²N⁻¹(log n)(log log n)) 를 만족함을 확인하여 진정한 순위의 정확한 복원을 보장한다.
• 실험 결과는 알고리즘이 표본 추출을 반복하는 경우와 반복하지 않는 경우 모두 유사한 성능을 보임을 시사하지만, 이론적 확장은 아직 열려 있다.