[논문 리뷰] On the additivity of preference aggregation methods

Łászló Csató|arXiv (Cornell University)|2015. 11. 30.

Data Management and Algorithms인용 수 1

한 줄 요약

이 논문은 결손치가 있는 다중 비교를 포함한 일반화된 토너먼트에서 선호도 집계 방법의 가환성(additivity)을 조사한다. 일관성—핵심적인 가환성 공리—이 비합리적인 무관한 비교의 독립성으로 이어지는 것으로 밝혀졌으며, 의미 있는 순위를 유지하기 위해 약화된 공리를 제안한다. 최소제곱법과 일반화된 행합 방법은 동일한 비교 구조에서 상대적 순위를 유지함으로써 기존의 공정한 베팅과 같은 전통적 방법에 비해 더 견고한 대안을 제공한다.

ABSTRACT

The paper reviews some axioms of additivity concerning ranking methods used for generalized tournaments with possible missing values and multiple comparisons. It is shown that one of the most natural properties, called consistency, has strong links to independence of irrelevant comparisons, an axiom judged unfavourable when players have different opponents. Therefore some directions of weakening consistency are suggested, and several ranking methods, the score, generalized row sum and least squares as well as fair bets and its two variants (one of them entirely new) are analysed whether they satisfy the properties discussed. It turns out that least squares and generalized row sum with an appropriate parameter choice preserve the relative ranking of two objects if the ranking problems added have the same comparison structure.

연구 동기 및 목표

• 결손 및 다중 비교를 포함한 일반화된 토너먼트에서 순위 매기기 방법의 공리적 성질을 조사하기 위해.
• 독립된 토너먼트를 조합할 때 상대적 순위가 안정되어야 한다는 일관성 공리의 함의를 평가하기 위해.
• 비합리적인 무관한 비교의 독립성 문제를 피하기 위해 약화된 가환성 공리의 형태를 식별하고 평가하기 위해.
• 다섯 가지 순위 매기기 방법—점수, 일반화된 행합, 최소제곱, 공정한 베팅, 이중 공정한 베팅, 코페랜드 공정한 베팅—이 제안된 공리 프레임워크 하에서 어떻게 성능을 내는지 비교하기 위해.
• 공리적 성질과 도메인 제약 조건을 바탕으로 적절한 순위 매기기 절차를 선택하는 데 도움을 주기 위해.

제안 방법

• 객체 Xᵢ와 Xⱼ 간의 집계 점수 tᵢⱼ를 나타내는 토너먼트 행렬 T ∈ ℝⁿˣⁿ를 사용하여 순위 문제를 수리적으로 정의한다.
• 가환성과 관련된 다섯 가지 공리—중립성(NEU), 대칭성(SYM), 일관성(CS), 등가성 유지(EP), 결과 일관성(RCS)—를 도입하고 분석한다.
• 공리 만족도를 평가하기 위해 공식 증명과 반례를 사용하여 순위 매기기 방법의 논리적 함의를 테스트한다.
• 매치 수에 반비례하는 방식으로 선택된 매개변수 ε를 사용한 일반화된 행합 방법을 적용하여 안정성을 향상시킨다.
• 헤링스 등(2005)의 방법을 공정한 베팅에 적용하여 새로운 방법인 코페랜드 공정한 베팅을 제안하며, 기존의 결함을 수정하고자 한다.
• 공리 간의 종속성과 함의 관계를 시각화하기 위해 표와 공리 관계도(그림 9)를 활용한다.

실험 결과

연구 질문

• RQ1 독립된 토너먼트 간에 상대적 순위를 유지해야 한다는 일관성 공리—즉, 무관한 비교의 독립성이 보장되어야 한다—는, 참가자가 다른 상대를 만날 경우 비합리적인 결과를 초래하는가?
• RQ2 등가성 유지(EP)나 결과 일관성(RCS)과 같은 약화된 가환성 공리—예를 들어, 완전한 일관성의 대체로 삼을 수 있는가?
• RQ3 최소제곱법, 일반화된 행합, 공정한 베팅 등의 다양한 순위 매기기 방법이 제안된 공리 프레임워크 하에서 어떻게 성능을 내는가?
• RQ4 공정한 베팅과 그 변형(이중 공정한 베팅, 코페랜드 공정한 베팅)은 라운드 로빈 토너먼트와 같은 제한된 도메인에서도 비합리적인 행동을 보이는가?
• RQ5 동일한 비교 구조에서 최소제곱법이나 일반화된 행합 방법이 안정적인 대안으로 추천될 수 있는가?

주요 결과

• 일관성—자연스러운 가환성 공리—는 무관한 비교의 독립성을 암시하며, 이는 참가자가 다른 상대를 만날 경우 문제를 일으킨다.
• 분석된 방법들 중 유일하게 점수 방법만이 일관성 공리를 만족한다; 나머지 모든 방법은 이를 충족하지 못한다.
• 최소제곱법과 적절한 매개변수 설정(예: ε ∝ 1/m(n−2))을 사용한 일반화된 행합 방법은 동일한 비교 구조를 가진 토너먼트를 합할 경우 상대적 순위를 유지한다.
• 최근 도입된 일관성의 약화된 형태인 결과 일관성(RCS)은 결과와 매치 행렬을 구분함으로써 순위 유지에 더 유리한 조건을 제공한다.
• 공정한 베팅, 이중 공정한 베팅, 코페랜드 공정한 베팅은 라운드 로빈 토너먼트에서도 순위 뒤집힘을 보이며, 덧셈에 대한 근본적인 불안정성을 드러낸다.
• 코페랜드 공정한 베팅 방법은 기존의 결함을 제거함으로써 공정한 베팅을 개선하지만, 무관한 매치의 독립성(IIM) 위반과 같은 다른 공리적 한계는 해결하지 못한다.