[논문 리뷰] On the Generalization Ability of Online Learning Algorithms for Pairwise Loss Functions

Purushottam Kar, Bharath K. Sriperumbudur외 2명|arXiv (Cornell University)|2013. 05. 11.

Advanced Bandit Algorithms Research참고 문헌 18인용 수 37

한 줄 요약

이 논문은 쌍별 손실 함수를 갖는 온라인 학습 알고리즘을 위한 더 날카운 generalization bound를 유도하기 위해 대칭화 기반의 분리 기법을 제안한다. 이 방법은 유한 차원에 의존하지 않는 bound를 가능하게 하며, 강凸 손실 함수에 대해 빠른 수렴 속도를 제공한다. 또한, 유한한 버퍼 기반 업데이트를 지원하며, 제한된 위험 보장을 유지한다.

ABSTRACT

In this paper, we study the generalization properties of online learning based stochastic methods for supervised learning problems where the loss function is dependent on more than one training sample (e.g., metric learning, ranking). We present a generic decoupling technique that enables us to provide Rademacher complexity-based generalization error bounds. Our bounds are in general tighter than those obtained by Wang et al (COLT 2012) for the same problem. Using our decoupling technique, we are further able to obtain fast convergence rates for strongly convex pairwise loss functions. We are also able to analyze a class of memory efficient online learning algorithms for pairwise learning problems that use only a bounded subset of past training samples to update the hypothesis at each step. Finally, in order to complement our generalization bounds, we propose a novel memory efficient online learning algorithm for higher order learning problems with bounded regret guarantees.

연구 동기 및 목표

• 쌍별 및 고차원 학습 문제에서 온라인 학습 알고리즘의 일반화 오차 bound가 부족한 문제를 해결하기 위해.
• 입력 차원에 크게 의존하는 기존의 커버링 수 기반 bound의 한계를 극복하기 위해.
• 결합된 쌍별 손실 함수에 대한 라데마처 복잡도 기반 분석을 가능하게 하는 분리 기법을 개발하기 위해.
• 유한한 버퍼를 사용하는 메모리 효율적인 온라인 학습을 지원하면서도, 위험과 일반화 보장을 유지하기 위해.
• 더 적은 무작위성 사용으로 Vitter의 레저보이어 샘플링과 동일한 통계적 성질을 가지는 새로운 버퍼 업데이트 정책(RS-x²)을 제안하기 위해.

제안 방법

• 초과 위험를 함수 클래스의 라데마처 복잡도로 변환하기 위해 기대값의 대칭화를 분리 단계로 도입한다.
• L_∞ 커버링 수에 의존하지 않도록 하기 위해, 고차원 함수 클래스에 대한 라데마처 복잡도의 확장된 개념을 적용한다.
• 강凸성 하에서 1차 학습 설정에서의 빠른 수렴 결과를 쌍별 학습 설정으로 확장하기 위해 이중 단계 증명 기법을 개발한다.
• 버퍼에 있는 원소를 교체하기 위해 이항 분포로 무작위 위치를 선택하는 새로운 버퍼 업데이트 메커니즘(RS-x²)을 제안한다. 이는 유한한 교체를 보장한다.
• RS-x와 RS-x² 간의 동등성을 증명함으로써, 둘 다 동일한 버퍼 원소 패턴의 공동 분포를 갖는다는 것을 보여주며, 이는 동일한 학습 성능을 보장한다.
• 새로운 업데이트 정책이 각 업데이트당 오직 $\mathcal{O}(\log s)$개의 무작위 비트만 사용한다는 것을 입증하여, Vitter의 레저보이어 샘플링과 동일한 무작위성 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 커버링 수 대신 라데마처 복잡도를 사용하여 온라인 쌍별 학습 알고리즘에 대해 더 날카운 일반화 오차 bound를 도출할 수 있는가?
• RQ2 제안된 대칭화 기법이 쌍별 손실 함수에 대해 차원에 독립적인 일반화 오차 bound를 가능하게 하는가?
• RQ3 강凸 쌍별 손실 함수에 대해 온라인 설정에서 빠른 수렴 속도를 달성할 수 있는가?
• RQ4 유한한 버퍼를 사용하는 메모리 효율적인 온라인 학습이 위험과 일반화 보장을 유지할 수 있는가?
• RQ5 제안된 RS-x² 버퍼 업데이트 정책이 무작위성 사용을 줄이면서도 레저보이어 샘플링의 통계적 성질을 유지하는가?

주요 결과

• 제안된 분리 기법은 Wang 등(2012)의 결과보다 더 날카운 일반화 오차 bound를 도출하며, 특히 고차원 설정에서 두드러진다.
• 이전의 커버링 수 기반 접근과 달리, 여러 학습 시나리오에서 차원에 독립적인 bound를 확보한다.
• 강凸 쌍별 손실 함수에 대해 이론적으로 $\mathcal{O}(1/T)$ 수준의 빠른 수렴 속도를 달성하며, 1차 학습 설정의 결과를 쌍별 학습 설정으로 확장한다.
• 유한한 버퍼를 사용하는 알고리즘에 대해, 버퍼 기반 페널티 함수에 대해 위험 보장을 만족하는 한, 일반화 오차 bound를 확립한다.
• RS-x² 버퍼 업데이트 정책은 각 업데이트당 오직 $\mathcal{O}(\log s)$개의 무작위 비트만 사용하여, 이전 방법 대비 무작위성 사용을 크게 줄였다.
• RS-x² 정책은 원래의 RS-x 정책과 통계적으로 동등하며, 둘 다 동일한 버퍼 원소 패턴의 공동 분포를 생성하므로 동일한 학습 성능을 보장한다.