[논문 리뷰] Online Learning with Pairwise Loss Functions

Yuyang Wang, Roni Khardon외 2명|arXiv (Cornell University)|2013. 01. 22.

Advanced Bandit Algorithms Research참고 문헌 33인용 수 10

한 줄 요약

이 논문은 순위 매기기와 거리 학습을 위한 온라인 학습에서 쌍별 손실 함수에 대한 첫 번째 데이터에 의존하는 일반화 경계를 제안하며, 순위 매기기와 거리 학습에서 온라인에서 배치로의 변환을 가능하게 한다. 새로운 이론적 프레임워크를 도입하여 온라인 시퀀스에서 저위험 가설을 유도하고, 투입된 경사 하강법과 U-통계 분석을 통해 이분 순위 매기기와 감독 거리 학습에서 최적의 수렴 속도를 달성한다.

ABSTRACT

Efficient online learning with pairwise loss functions is a crucial component in building large-scale learning system that maximizes the area under the Receiver Operator Characteristic (ROC) curve. In this paper we investigate the generalization performance of online learning algorithms with pairwise loss functions. We show that the existing proof techniques for generalization bounds of online algorithms with a univariate loss can not be directly applied to pairwise losses. In this paper, we derive the first result providing data-dependent bounds for the average risk of the sequence of hypotheses generated by an arbitrary online learner in terms of an easily computable statistic, and show how to extract a low risk hypothesis from the sequence. We demonstrate the generality of our results by applying it to two important problems in machine learning. First, we analyze two online algorithms for bipartite ranking; one being a natural extension of the perceptron algorithm and the other using online convex optimization. Secondly, we provide an analysis for the risk bound for an online algorithm for supervised metric learning.

연구 동기 및 목표

• 대규모 시스템에서 AUC를 최대화하는 데 핵심적인 쌍별 손실 함수를 사용한 온라인 학습에 대한 일반화 경계가 부족한 문제를 해결하기 위해.
• 이전에 단변량 손실 함수에 국한되어 있던 기존의 온라인 학습 이론을 확장하여, 쌍별 예측에 의존하는 손실 함수를 다룰 수 있도록 하기 위해.
• 이분 순위 매기기와 거리 학습에서 온라인 알고리즘의 이론적 기반을 마련하여 저예상 위험을 보장하기 위해.
• 이 프레임워크가 AUC 최대화 및 거리 메트릭 학습과 같은 실제 문제에 적용 가능함을 보여주기 위해.
• 쌍별 손실 함수에 대해 날카롭고 데이터에 의존하는 위험 경계를 갖는 일반적인 온라인에서 배치로의 변환 방법을 수립하기 위해.

제안 방법

• 가설 시퀀스의 평균 위험에 대한 새로운 분석을 기반으로, 쌍별 손실 함수를 사용하는 임의의 온라인 학습자에 대해 데이터에 의존하는 일반화 경계를 유도한다.
• 이 프레임워크를 이분 순위 매기기의 두 온라인 알고리즘에 적용한다: 퍼셉트론 유사 확장과 온라인 볼록 최적화 접근.
• 마진 제약 조건에 기반한 볼록 손실 함수를 사용하는 온라인 투영 경사 하강 알고리즘을 제안하여 감독 거리 학습을 위해 사용한다.
• U-통계 형식과 경험적 버르슈타인 부등식을 사용하여 앙상블 평균 가설의 위험을 경계한다.
• 랜덤 버퍼 크기가 O(log n)인 버퍼 기반 온라인에서 배치로의 변환을 도입하여, 저위험 가설로의 수렴을 보장한다.
• 거리 학습에서 메트릭 성질을 유지하기 위해 양의 준정부호 행렬 집합 위로의 투영 단계를 적용한다.

실험 결과

연구 질문

• RQ1 일반화 경계를 단변량에서 쌍별 손실 함수로 확장할 수 있는가?
• RQ2 임의의 온라인 학습자가 쌍별 손실 함수를 사용할 때 생성된 가설 시퀀스의 기대 위험은 얼마인가?
• RQ3 데이터에 의존하는 방식으로 온라인 가설 시퀀스에서 저위험 가설을 어떻게 추출할 수 있는가?
• RQ4 제안된 프레임워크는 이분 순위 매기기와 거리 학습에 적용 가능하며, 수렴 보장을 갖는가?
• RQ5 상수 크기의 버퍼를 사용하여 쌍별 온라인 학습에서 최적의 수렴 속도를 달성할 수 있는가?

주요 결과

• 이 논문은 임의의 온라인 학습자에 대해 쌍별 손실 함수를 사용한 온라인 학습에 대한 첫 번째 데이터에 의존하는 일반화 경계를 수립한다.
• 온라인 이분 순위 매기기의 경우, 퍼셉트론 스타일 알고리즘과 온라인 볼록 최적화 접근 모두 최적의 위험과 위험 경계를 달성한다.
• 감독 거리 학습의 경우, 온라인 투영 경사 하강 알고리즘이 다음과 같은 위험 경계를 확보한다: Pr[ℛ(𝐀̄) ≥ (1/(n−cₙ))(M* + √n) + ε] ≤ [2((32R/ε)+1)^d + 1] exp{−(cn−1)ε²/64 + ln n}, 이는 수렴을 보장한다.
• 이론적 분석은 랜덤 버퍼 크기가 O(log n)이면 충분하며, 이 크기의 필요성은 여전히 열린 질문이다.
• 이 프레임워크는 모든 온라인 거리 학습 알고리즘에 일반적으로 적용 가능하며, 임의의 정규화된 위험 보장을 갖는 알고리즘에도 적용 가능하며, Jin 등(2009)의 결과에도 적용 가능하다.
• 결과적으로 온라인에서 배치로의 변환이 쌍별 손실 함수에 대해 가능함을 보여주며, 강력한 일반화 보장을 갖는 온라인 알고리즘을 배치 학습에서 사용할 수 있음을 시사한다.