[논문 리뷰] A New Active Learning Scheme with Applications to Learning to Rank from Pairwise Preferences

Nir Ailon, Ron Begleiter외 1명|arXiv (Cornell University)|2011. 10. 10.

Machine Learning and Algorithms참고 문헌 18인용 수 9

한 줄 요약

이 논문은 쌍별 선호도에서 순위 매기기 학습을 위한 새로운 활성 학습 기법을 제안하며, 오직 O(n poly(log n, ε⁻¹))개의 질의로 최적의 손실에 지수적 수렴을 달성한다. 이 방법은 선호 문제의 구조적 성질을 활용하며, 정확한 설정과 볼록 리미터 설정 모두에 적용 가능하며, SVM 및 로지스틱 회귀를 포함한 다양한 설정에서 더 높은 질의 효율성을 제공한다. 특히 저차원 특징 공간에서 성능이 향상된다.

ABSTRACT

We consider the statistical learning setting of active learning in which the learner chooses which examples to obtain labels for. We identify a useful general purpose structural property of such learning problems, giving rise to a query-efficient iterative procedure achieving approximately optimal loss at an exponentially fast rate, where the rate is measured in units of error per label. The effectiveness of our ideas is demonstrated on the problem of learning to rank from pairwise preference labels, known as minimum feedback arc-set in tournaments when all the quadratically many preferences are given as input. The net result is an efficient selective sampling method for this problem, achieving a (1 + e)competitive result using only O(n poly(logn, e−1)) preference queries from the quadratically many. This result is information theoretical in nature because it shows how to efficiently select information, not how to use it (computationally) for optimization. Nevertheless, our ideas transfer quite seamlessly to a convex relaxation counterpart, giving rise to an iterative algorithm with an exponential convergence rate to a relaxation optimum. SVM and logistic regression are, in particular, notable examples of relaxation for which this result applies. Such relaxations are popular in applications where the set of alternatives we wish to rank is embedded in a real vector space (feature space), and we wish to fit a permutation induced by a linear function to the preference information. Moreover, in the particular case of constant dimensional feature space, we obtain a slight additional improvement in the query complexity as a function of the number of alternatives using the powerful notion of e-relative approximations in bounded VC dimension spaces. We believe that our iterative scheme and analysis method are interesting in their own right and will find use in other problems. ∗Technion [e-mail] †Technion [e-mail] ‡NYU Courant Institute [e-mail]

연구 동기 및 목표

• 쌍별 선호도 피드백으로부터 순위 매기기 학습을 위한 질의 효율적인 활성 학습 방법을 개발하는 것.
• 활성 학습 설정에서 빠른 수렴을 가능하게 하는 일반적인 구조적 성질을 규명하는 것.
• 특히 피드백 아크 세트 문제의 맥락에서 최소한의 레이블 질의로 근사 최적 성능을 달성하는 것.
• 실제 순위 매기기 응용을 위해 SVM 및 로지스틱 회귀와 같은 볼록 리미터로 방법을 확장하는 것.
• 저차원 특징 공간에서 e-상대 근사치를 활용하여 질의 복잡도를 향상시키는 것.

제안 방법

• 이 방법은 손실의 지수적 수렴을 보장하는 학습 문제의 구조적 성질에 기반한 반복적 활성 학습 절차를 도입한다.
• 모든 쌍별 선호도가 가용할 경우 순위 문제를 최소 피드백 아크 세트 문제로 공식화한다.
• 선택적 샘플링을 통해 가장 정보가 많은 쌍별 비교를 식별하여 중복 질의를 최소화한다.
• 볼록 리미터의 경우, 리미터 최적해로의 지수적 수렴을 보장하는 반복 알고리즘을 적용한다.
• 일정한 차원의 특징 공간에서는 e-상대 근사치를 활용하여 질의 복잡도를 추가로 감소시킨다.
• 이 프레임워크는 선호 데이터로부터 선형 함수가 순열을 유도하는 모든 문제에 일반적으로 적용 가능하다.

실험 결과

연구 질문

• RQ1 쌍별 피드백이 있는 순위 문제에 대해, 레이블 당 손실에서 지수적 수렴을 달성하는 일반 목적의 활성 학습 기법을 설계할 수 있는가?
• RQ2 선호 문제의 어떤 구조적 성질이 활성 학습에서 효율적인 질의 선택을 가능하게 하는가?
• RQ3 유지 보장된 (1+ε)-경쟁 성능을 확보하면서도 필요한 선호 질의 수를 최소화할 수 있는가?
• RQ4 SVM 및 로지스틱 회귀와 같은 볼록 리미터는 이 활성 학습 기법으로부터 어느 정도의 이점을 얻을 수 있는가?
• RQ5 유한 VC 차원을 가진 공간에서 e-상대 근사치는 저차원 특징 설정에서 질의 복잡도를 추가로 감소시킬 수 있는가?

주요 결과

• 제안된 활성 학습 기법은 오직 O(n poly(log n, ε⁻¹))개의 선호 질의로 (1+ε)-경쟁 결과를 달성하여 필요한 레이블 수를 크게 줄였다.
• 이 방법은 레이블 당 손실에서 지수적 수렴을 보장하여 레이블 사용 측면에서 매우 효율적이다.
• 질의 선택 측면에서 정보 이론적으로 최적이지만, 반드시 계산 최적화 측면에서 최적이지는 않다.
• SVM 및 로지스틱 회귀와 같은 볼록 리미터의 경우, 리미터 최적해로의 지수적 수렴을 보장하는 반복 알고리즘을 제공한다.
• 일정한 차원의 특징 공간에서는 e-상대 근사치를 통해 질의 복잡도가 추가로 향상되어 효율성이 향상된다.
• 이 방법은 선형 함수가 특징 공간에서 순서를 유도하는 모든 순위 매기기 문제에 일반적으로 적용 가능하다.