[논문 리뷰] Online Pairwise Learning Algorithms with Kernels

Yiming Ying, Ding‐Xuan Zhou|arXiv (Cornell University)|2015. 02. 25.

Advanced Bandit Algorithms Research참고 문헌 33인용 수 6

한 줄 요약

이 논문은 커널 방법을 사용하는 비제약 복원 쿼드릭 힐버트 공간 (RKHS)에서 작동하는 온라인 쌍별 학습 알고리즘인 OPERA를 제안한다. 최소제곱 손실 함수를 사용하며, 강한 볼록성이나 유한한 반복값을 요구하지 않으며, 마지막 반복값의 거의 확실 수렴성을 확립하고 다항형 감쇠 단계 크기 하에서 명시적인 수렴 속도를 유도한다. 일반 커널을 사용하는 온라인 쌍별 학습을 위한 새로운 이론적 프레임워크를 제공한다.

ABSTRACT

Pairwise learning usually refers to a learning task which involves a loss function depending on pairs of examples, among which most notable ones include ranking, metric learning and AUC maximization. In this paper, we study an online algorithm for pairwise learning with a least-square loss function in an unconstrained setting of a reproducing kernel Hilbert space (RKHS), which we refer to as the Online Pairwise lEaRning Algorithm (OPERA). In contrast to existing works \cite{Kar,Wang} which require that the iterates are restricted to a bounded domain or the loss function is strongly-convex, OPERA is associated with a non-strongly convex objective function and learns the target function in an unconstrained RKHS. Specifically, we establish a general theorem which guarantees the almost surely convergence for the last iterate of OPERA without any assumptions on the underlying distribution. Explicit convergence rates are derived under the condition of polynomially decaying step sizes. We also establish an interesting property for a family of widely-used kernels in the setting of pairwise learning and illustrate the above convergence results using such kernels. Our methodology mainly depends on the characterization of RKHSs using its associated integral operators and probability inequalities for random variables with values in a Hilbert space.

연구 동기 및 목표

• 순위 매기기, 거리 학습, AUC 최적화와 같은 쌍별 학습 작업을 위한 온라인 학습 알고리즘을 개발하기 위해.
• 강한 볼록성이나 유한한 반복값을 요구하지 않는 비제약 RKHS 설정에서 수렴성을 분석하기 위해.
• 알고리즘의 마지막 반복값에 대한 거의 확실 수렴성과 명시적인 수렴 속도를 확립하기 위해.
• 일반적으로 사용되는 커널이 쌍별 학습 맥락에서 어떻게 행동하는지 기술하고 이론적 결과를 뒷받침하기 위해.
• 적분 연산자와 힐버트 공간 값의 랜덤 변수를 사용하여 온라인 학습 이론을 강한 볼록성이 없는 비제약 쌍별 학습 문제로 확장하기 위해.

제안 방법

• 제약이 없는 RKHS에서 쌍별 손실 함수를 사용하는 온라인 쌍별 학습 알고리즘인 OPERA를 제안하며, $\mathcal{X}^2$에서의 곱 공간에서 정의된다.
• 메르센 커널 $K$를 $\mathcal{X}^2 \times \mathcal{X}^2$에 대해 정의된 커널 기반의 가설 공간 $\mathcal{H}_K$를 사용한다.
• 수렴을 보장하기 위해 다항형 감쇠를 갖는 단계 크기 시퀀스 $\gamma_t = \kappa^{-2} t^{-(2\beta+1)/(2\beta+2)}$를 사용한다.
• 관련된 적분 연산자로 RKHS를 특성화하고, 힐버트 공간 값의 랜덤 변수에 대한 확률 부등식을 적용하여 오차 한계를 도출한다.
• RKHS 노름을 힐베르트-스미스 연산자 노름과 연결하여 수렴성을 확립하고, 목표 함수의 정규성에 따라 잔차 오차를 분석한다.
• 함수 $f(x^1,x^2) = g(x^1) - g(x^2)$의 분해를 통해 쌍별 커널과 표준 RKHS $\mathcal{H}_G$ 사이의 연결을 맺으며, 이는 $\mathcal{H}_G$를 통한 오차 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 강한 볼록성이나 유한한 반복값을 요구하지 않는 비제약 RKHS에서 온라인 쌍별 학습 알고리즘이 거의 확실 수렴성을 달성할 수 있는가?
• RQ2 다항형 감쇠 단계 크기 하에서 OPERA의 수렴 속도는 무엇인가?
• RQ3 일반적으로 사용되는 커널은 쌍별 학습 맥락에서 어떻게 행동하며, 수렴을 뒷받침하는 구조적 특성은 무엇인가?
• RQ4 오차 분석을 강한 볼록성이 없는 目표 함수로 확장할 수 있는가?
• RQ5 목표 함수의 정규성과 온라인 알고리즘의 수렴 속도 사이의 관계는 무엇인가?

주요 결과

• OPERA의 마지막 반복값은 기저 데이터 분포에 대한 어떤 가정도 없이 목표 함수로 거의 확실하게 수렴한다.
• 다항형 감쇠 단계 크기 하에서 수렴 속도가 $\mathcal{O}(T^{-\beta/(2\beta+2)})$ 순서로 명시적으로 도출되며, 이때 $\beta$는 목표 함수의 정규성을 정량화한다.
• 단변수 경우($\mathcal{O}(T^{-\beta/(2\beta+1)})$)와 비교해 수렴 속도가 최적화되지 않아 향후 개선 여지가 있음을 시사한다.
• 특수한 쌍별 커널 $K((x^1,x^2), (\hat{x}^1,\hat{x}^2)) = \langle G_{x^1} - G_{x^2}, G_{\hat{x}^1} - G_{\hat{x}^2} \rangle_G$의 경우, RKHS의 구조는 $f \in \mathcal{H}_K$와 $g \in \mathcal{H}_G$ 사이의 일대일 대응을 가능하게 하며, $f(x^1,x^2) = g(x^1) - g(x^2)$로 표현된다.
• 만약 $1_{\mathcal{X}} \notin \mathcal{H}_G$ 이면, 커널 $K$는 엄밀히 양의 정의적인 RKHS를 유도하여 학습 과정의 유일성과 안정성을 보장한다.