[논문 리뷰] An Active Learning Algorithm for Ranking from Pairwise Preferences with an Almost Optimal Query Complexity

Nir Ailon|arXiv (Cornell University)|2010. 10. 30.

Machine Learning and Algorithms참고 문헌 44인용 수 79

한 줄 요약

이 논문은 쌍별 선호도에서 순위 매기기 위한 액티브 러닝 알고리즘을 제안하며, 원래 문제를 더 단순한 문제로 환원하여 임의의 경험적 리스크 최소화(ERM) 블랙박스로 해결할 수 있도록 함으로써 거의 최적의 질의 복잡도를 달성한다. 이 방법은 오직 $O(n\operatorname{polylog}(n,\varepsilon^{-1}))$개의 쌍별 레이블을 적응적으로 샘플링하여, 결과적으로 최적 손실의 $(1+\varepsilon)$ 이내의 손실을 유발함을 보장하며, VC 이론에 기반한 비적응적 샘플링 전략보다 크게 뛰어나다.

ABSTRACT

We study the problem of learning to rank from pairwise preferences, and solve a long-standing open problem that has led to development of many heuristics but no provable results for our particular problem. Given a set $V$ of $n$ elements, we wish to linearly order them given pairwise preference labels. A pairwise preference label is obtained as a response, typically from a human, to the question "which if preferred, u or v?$ for two elements $u,v\in V$. We assume possible non-transitivity paradoxes which may arise naturally due to human mistakes or irrationality. The goal is to linearly order the elements from the most preferred to the least preferred, while disagreeing with as few pairwise preference labels as possible. Our performance is measured by two parameters: The loss and the query complexity (number of pairwise preference labels we obtain). This is a typical learning problem, with the exception that the space from which the pairwise preferences is drawn is finite, consisting of ${n\choose 2}$ possibilities only. We present an active learning algorithm for this problem, with query bounds significantly beating general (non active) bounds for the same error guarantee, while almost achieving the information theoretical lower bound. Our main construct is a decomposition of the input s.t. (i) each block incurs high loss at optimum, and (ii) the optimal solution respecting the decomposition is not much worse than the true opt. The decomposition is done by adapting a recent result by Kenyon and Schudy for a related combinatorial optimization problem to the query efficient setting. We thus settle an open problem posed by learning-to-rank theoreticians and practitioners: What is a provably correct way to sample preference labels? To further show the power and practicality of our solution, we show how to use it in concert with an SVM relaxation.

연구 동기 및 목표

• 학습-순위 분야에서 오랫동안 열려있던 문제를 해결: 손실 한계를 훼손하지 않으면서 쌍별 선호도 레이블을 증명 가능하게 효율적으로 샘플링하는 것.
• 모든 가능한 쌍별 비교 $\binom{n}{2}$를 포함하는 원래 순위 매기기 문제를 표준 ERM 블랙박스로 해결할 수 있는 더 단순한 문제로 환원하는 것.
• 질의 복잡도를 $O(n\operatorname{polylog}(n,\varepsilon^{-1}))$로 유지하면서도 최적 해에 대한 손실이 $(1+\varepsilon)$ 이내가 되도록 하는 것.
• 동일한 손실 한계에서 적응적 샘플링이 비적응적 샘플링보다 질의 복잡도 측면에서 뛰어나다는 것을 보여주는 것.
• 쌍별 선호도를 사용한 순위 작업에서 액티브 러닝을 위한 실용적이고 증명 가능하게 올바른 프레임워크를 제공하는 것.

제안 방법

• 알고리즘은 최적 솔루션의 손실을 $(1+\varepsilon)$ 요인 이내로 유지하는 변환을 사용하여 순위 문제를 다른 학습 문제로 환원한다.
• 현재 모델의 불확실성에 기반하여 쌍별 비교를 적응적으로 선택함으로써 질의 수를 최소화하는 적응적 레이블 샘플링을 시행한다.
• 환원 과정은 임의의 ERM 블랙박스를 환원된 문제에 적용했을 때 원래 문제의 최적 솔루션에 대해 손실이 최대 $(1+\varepsilon)$ 배 이내가 되도록 보장한다.
• 환원과 레이블 선택을 안내하기 위해 최소 피드백 아크 세트 문제(MFAST)의 PTAS를 활용한다.
• 비전위 삼각형에 대한 패킹 추론을 사용하여 서포트 벡터 기반의 최적화 문제의 목적 함수를 하한으로 제시한다.
• Hoeffding의 부등식을 통한 농도 경계를 통해 표본 추출된 부분집합에서의 경험적 리스크가 진짜 리스크를 $O(\varepsilon F_2(w))$ 이내로 근사함을 보장하며, 높은 확률로 성립한다.

실험 결과

연구 질문

• RQ1 쌍별 선호도에서 순위 매기기 위한 액티브 러닝 알고리즘을 설계할 수 있는가? 이 알고리즘은 증명 가능하게 효율적인 질의 복잡도를 갖추고, 손실 보장을 유지할 수 있는가?
• RQ2 쌍별 선호도로 순위 매기기에서 적응적 샘플링은 비적응적 샘플링보다 현저히 더 효율적인가?
• RQ3 원래 순위 문제를 표준 ERM 블랙박스로 해결할 수 있는 더 단순한 문제로 환원할 수 있는가? 이 과정에서 손실 한계는 유지되는가?
• RQ4 순위 문제의 $(1+\varepsilon)$-근사해를 달성하기 위해 필요한 최소 쌍별 질의 수는 얼마인가?
• RQ5 동일한 손실 한계에서 VC 차원 기반의 비적응적 샘플링과 적응적 샘플링의 질의 복잡도는 어떻게 비교되는가?

주요 결과

• 제안된 알고리즘은 임의의 $\varepsilon > 0$에 대해 질의 복잡도 $O(n\operatorname{polylog}(n,\varepsilon^{-1}))$를 달성하며, 이는 거의 최적이다.
• 이 방법은 최종 순위의 손실가 최적 손실의 $(1+\varepsilon)$ 배 이내가 되며, 높은 확률로 성립함을 보장한다.
• 더 단순한 문제로의 환원 덕분에 임의의 ERM 블랙박스를 사용할 수 있으며, 결과적으로 원래 문제의 최적 솔루션에 대해 $(1+\varepsilon)$ 배 이내의 근사해를 얻을 수 있다.
• VC 차원 기반의 비적응적 샘플링 전략은 동일한 손실 수준에서 훨씬 열악한 질의 복잡도 상한을 유도한다.
• 이론적 분석에 따르면, $M = O(\varepsilon^{-6}(1+2c)^2 d \log(1/\varepsilon))$개의 표본을 사용할 경우, 경험적 리스크는 진짜 리스크를 $O(\varepsilon F_2(w))$ 이내로 근사하며, 높은 확률로 성립한다.
• SVM 기반 ERM 블랙박스를 사용하여 실증적으로 검증한 결과, 환원된 문제의 솔루션이 원래 SVM 솔루션을 임의로 설정한 오차 한계 내에서 증명 가능하게 근사하는 것으로 나타났다.