[논문 리뷰] Robust Statistical Ranking: Theory and Algorithms

Qianqian Xu, Jiechao Xiong외 2명|arXiv (Cornell University)|2014. 08. 15.

Advanced Statistical Methods and Models참고 문헌 56인용 수 3

한 줄 요약

이 논문은 군중으로부터의 상호 비교를 이용한 시각적 성질 평가를 위한 강건한 통계적 랭킹 프레임워크를 제안한다. 사이클릭 랭킹 성분을 이상치로 분리하기 위해 Hodge 분해를 활용함으로써, Huber LASSO와 선형화된 Bregman 반복을 통한 이상치 탐지 문제를 수립함으로써, 완전하지도 않고, 불균형하며, 오염된 데이터가 존재하는 상황에서도 통계적으로 일관되고 편향이 적은 랭킹을 달성한다. 이는 FGLFW와 Shoes와 같은 실제 시각 데이터셋에서 효과적으로 입증되었다.

ABSTRACT

Abstract—Deeply rooted in classical social choice and voting theory, statistical ranking with paired comparison data experienced its renaissance with the wide spread of crowdsourcing technique. As the data quality might be significantly damaged in an uncontrolled crowdsourcing environment, outlier detection and robust ranking have become a hot topic in such data analysis. In this paper, we propose a robust ranking framework based on the principle of Huber’s robust statistics, which formulates outlier detection as a LASSO problem to find sparse approximations of the cyclic ranking projection in Hodge decomposition. Moreover, simple yet scalable algorithms are developed based on Linearized Bregman Iteration to achieve an even less biased estimator than LASSO. Statistical consistency of outlier detection is established in both cases which states that when the outliers are strong enough and in Erdös-Rényi random graph sampling settings, outliers can be faithfully detected. Our studies are supported by experiments with both simulated examples and real-world data. The proposed framework provides us a promising tool for robust ranking with large scale crowdsourcing data arising from computer vision, multimedia, machine learning, sociology, etc.

연구 동기 및 목표

• 부분적이고, 불균형하며, 오염된 군중으로부터의 상호 비교 애너테이션 상황에서 강건한 시각적 성질 랭킹 문제를 해결하기 위해.
• 대규모 군중 참여 데이터에서 레이블 노이즈와 일관성 없는 애너테이션의 영향을 식별하고 완화하기 위해.
• 데이터 오염에도 불구하고 정확성을 유지하는 통계적으로 일관되고 확장 가능한 랭킹 프레임워크를 개발하기 위해.
• 나이, 색상, 품질과 같은 세밀한 성질에 기반해 신뢰할 수 있는 상위 랭킹 검색을 가능하게 하기 위해.

제안 방법

• 프레임워크는 랭킹 데이터를 조화, 기울기, 사이클릭 성분으로 분해하여 사이클릭 성분을 오염의 주요 원인으로 분리한다.
• 이상치 탐지는 사이클릭 랭킹 투영의 희박한 근사로 수식화되어, 일관성 없거나 노이즈가 있는 비교를 식별할 수 있다.
• 이상치의 영향을 최소화하면서도 랭킹을 강건하게 추정하기 위해 Huber LASSO 기반 최적화 모델을 제안한다.
• 추정기 편향을 감소시키고 정규화 파rameter를 자동으로 선택하기 위해 선형화된 Bregman 반복을 활용한다.
• 스케일링이 가능하며, 대규모 군중 참여 데이터를 대상으로 설계되었으며, 약한 조건 하에서도 이론적 일관성 보장을 갖는다.
• 합성 시뮬레이션과 실제 시각적 성질 데이터셋(FGLFW 및 Shoes 포함)을 통한 실험을 통해 방법의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 군중으로부터의 상호 비교 애너테이션에서 노이즈 또는 일관성 없는 애너테이션의 영향을 효과적으로 탐지하고 완화할 수 있는 방법은 무엇인가?
• RQ2 부분적이고 불균형한 랭킹 데이터에서 이상치를 식별하는 이론적 근거는 무엇인가?
• RQ3 오염 및 희박한 데이터 상황에서도 강건한 랭킹 프레임워크가 통계적으로 일관성 있고 편향이 적은 성능을 유지를 할 수 있는가?
• RQ4 실제 시각 데이터셋에서 기존의 러닝-토-랭크 및 이상치 탐지 기법과 비교해 본다면, 제안된 방법은 어떤가?
• RQ5 이 프레임워크는 나이나 색상과 같은 세밀한 성질에 기반해 신뢰할 수 있는 상위 랭킹 시각 인스턴스를 검색할 수 있는가?

주요 결과

• Hober LASSO와 선형화된 Bregman 반복을 사용한 제안된 방법은 이론적 보장 조건과 동일한 조건 하에서 통계적으로 일관된 이상치 탐지를 달성한다.
• Shoes 데이터셋에서 LBI와 편향이 없는 LASSO+L2 방법은 다른 방법들이 점수 왜곡을 보이는 것과는 달리, 모든 양성 및 음성 인스턴스에 대해 일관된 점수를 유지했다.
• LBI와 편향이 없는 LASSO+L2만이 명확한 점수 갭을 통해 양성 및 음성 인스턴스를 정확히 분리하여 신뢰할 수 있는 상위 랭킹 검색을 가능하게 했다.
• LBI와 LASSO+L2의 이상치 탐지 결과는 높은 일치도를 보였으며, 오직 두 쌍의 충돌하는 결과만이 정상 관측치와 노이즈 관측치의 경계 근처에 위치해 있었다.
• 시뮬레이션 및 실제 데이터 실험을 통해, 이 프레임워크가 시각적 성질 평가에서 부분적이고, 불균형하며, 오염된 군중 참여 데이터를 효과적으로 다룰 수 있음을 확인했다.