[논문 리뷰] On-line regression competitive with reproducing kernel Hilbert spaces

Vladimir Vovk|ArXiv.org|2005. 11. 15.

Advanced Bandit Algorithms Research인용 수 11

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS) 내의 임의의 예측 규칙과 비교해도 성능이 경쟁 가능한 온라인 회귀 알고리즘을 제시한다. 이는 RKHS가 무한차원이거나 기준 함수에 대한 노름 제약 조건이 없을 경우에도 성립한다. 방법론으로 방어적 예측과 집합 알고리즘을 사용하여 누적 제곱 손실이 기준 클래스의 고정된 규칙보다 오직 O(√N) 이내로 증가함을 보장하며, 최적의 주요 상수를 확보함으로써 비스토크라틱(non-stochastic), 보편적 일致성 보장(universal consistency guarantee)을 제공한다.

ABSTRACT

We consider the problem of on-line prediction of real-valued labels, assumed bounded in absolute value by a known constant, of new objects from known labeled objects. The prediction algorithm's performance is measured by the squared deviation of the predictions from the actual labels. No stochastic assumptions are made about the way the labels and objects are generated. Instead, we are given a benchmark class of prediction rules some of which are hoped to produce good predictions. We show that for a wide range of infinite-dimensional benchmark classes one can construct a prediction algorithm whose cumulative loss over the first N examples does not exceed the cumulative loss of any prediction rule in the class plus O(sqrt(N)); the main differences from the known results are that we do not impose any upper bound on the norm of the considered prediction rules and that we achieve an optimal leading term in the excess loss of our algorithm. If the benchmark class is "universal" (dense in the class of continuous functions on each compact set), this provides an on-line non-stochastic analogue of universally consistent prediction in non-parametric statistics. We use two proof techniques: one is based on the Aggregating Algorithm and the other on the recently developed method of defensive forecasting.

연구 동기 및 목표

• 무한차원 RKHS 내의 임의의 예측 규칙과 경쟁 가능한 온라인 회귀 알고리즘을 개발함으로써, 기준 함수에 대한 노름 제약 조건을 부과하지 않는 것.
• 비스토크라틱이고 유한 샘플 기반의 비모수적 회귀에서 보편적 일치성의 유사 결과를 수립함으로써 스톤의 점근적 결과를 온라인 학습으로 확장함.
• O(√N) 회귀 항의 주요 상수를 최적화함으로써 이전 연구에서 발생하는 부분 최적 상수나 제약 조건이 필요한 경우를 개선함.
• 방어적 예측과 집합 알고리즘의 온라인 회귀, 특히 제곱 손실에 대한 적용 가능성과 유연성을 입증함.
• 커널 기반 예측 규칙을 사용하여 기대되는 회귀 한계를 달성하는 명시적이고 구현 가능한 예측 전략을 제공함.

제안 방법

• 알고리즘은 레이블 예측과 객체 특징을 통합한 병합 커널을 사용한다: $ \mu\mu' / Y^2 + \langle \mathbf{k}_x, \mathbf{k}_{x'} \rangle_{\mathcal{F}} $, 이는 예측과 커널 구조에 대한 동시 최적화를 가능하게 한다.
• 각 라운드에서 예측 $ \mu_n $ 는 방정식 $ S_n(\mu) = 0 $ 의 근으로 계산되며, 이는 과거 데이터와 커널로부터 유도된 이차 함수 $ S_n(\mu) $ 를 기반으로 하여 집합 알고리즘 프레임워크 하에서 기대 손실을 최소화함을 보장한다.
• 방어적 예측은 현실이 예측자가 기준에 가까운 규칙을 따르지 않으면 손실이 증가하도록 전략을 구성함으로써, 결정론적으로 회귀 한계가 유지되도록 보장한다.
• 알고리즘은 RKHS의 재생 성질을 활용하여 예측 규칙의 손실과 노름을 표현함으로써, 기능 해석학을 통해 초과 손실을 엄격하게 통제할 수 있다.
• 알고리즘은 유한차원 근사와 계산의 실현 가능성을 확보하기 위해 커널 $ \mathbf{k}(x,x') = c^2 \max(1 - |x - x'|, 0) $ 를 명시적으로 사용한다. 이는 삼각 커널에 해당한다.
• 두 가지 증명 기법이 사용되었으며, 집합 알고리즘과 방어적 예측이다. 후자는 더 넓은 적용 범위를 보이며 더 날카로운 한계를 도출함을 입증하였다.

실험 결과

연구 질문

• RQ1 무한차원 RKHS 내의 임의의 규칙과 비교해도 성능이 경쟁 가능한 온라인 회귀 알고리즘이, 기준 함수에 대한 노름 제약 조건 없이 $ O(\sqrt{N}) $ 이내의 회귀 성능을 달성할 수 있는가?
• RQ2 비스토크라틱이고 유한 샘플 설정에서 스톤의 통계적 회귀 점근적 결과에 대응하는 보편적 일치성 온라인 예측 알고리즘을 정의하고 구성할 수 있는가?
• RQ3 O(\sqrt{N}) 회귀 항의 주요 상수를 최적화할 수 있는가? 이는 이전 연구에서 발생하는 부분 최적 상수를 피하는 데 목적이 있다.
• RQ4 방어적 예측은 제곱 손실을 가진 온라인 회귀에 어떻게 적용될 수 있으며, 전통적 집합 방법에 비해 어떤 이점이 있는가?
• RQ5 기대되는 회귀 한계를 달성하는 예측 전략의 명시적 형태는 무엇이며, 어떻게 효율적으로 구현할 수 있는가?

주요 결과

• 제안된 알고리즘은 RKHS가 무한차원이거나 기준 함수에 대한 노름 제약 조건이 없을 경우에도, 기준 클래스 내의 고정된 규칙과 비교해 $ O(\sqrt{N}) $ 이내의 회귀 한계를 달성하며, 주요 상수는 최적이다.
• 밀도가 연속 함수의 컴act 집합에 대해 밀도를 이루는 보편적 기준 클래스에 대해, 알고리즘은 비스토크라틱이고 온라인 설정에서 보편적 일치성을 달성하며, 스톤의 점근적 결과를 일반화한다.
• 회귀 한계는 $ \frac{3}{2}Y^2 \ln N + 2Ycd\sqrt{N+2} + \frac{(cd)^2}{4} + O(Y^2) $ 로 표현되며, 이는 상수의 차이를 제외하고 이론적 하한선과 일치한다. 여기서 $ c $ 와 $ d $ 는 커널과 기준 규칙의 노름과 관련된다.
• 방어적 예측 방법은 제곱 손실 처리 및 최적 상수 확보에서 집합 알고리즘보다 더 날카로운 분석을 제공함을 입증하였다.
• 병합 커널을 사용하여 명시적 예측 전략을 유도함으로써, 알고리즘은 과거 예측 수에만 의존하는 계산 복잡도로 실현 가능하게 구현될 수 있다.
• 증명 결과, RKHS 노름이 $ d $ 인 임의의 기준 규칙 $ D $ 와 비교한 초과 손실은 $ (2 - \alpha)Ycd\sqrt{N} $ 이하이며, 여기서 $ \alpha = cd / (Y\sqrt{N}) $ 이다. 이는 최적의 상수를 가진 $ O(\sqrt{N}) $ 성장률을 확인한다.