[논문 리뷰] Streaming kernel regression with provably adaptive mean, variance, and regularization

Audrey Durand, Odalric-Ambrym Maillard외 1명|arXiv (Cornell University)|2017. 08. 02.

Advanced Bandit Algorithms Research참고 문헌 25인용 수 21

한 줄 요약

이 논문은 스트리밍 환경에서 증명 가능하게 적응적인 정규화, 평균, 분산 추정을 갖춘 스트리밍 커널 회귀 방법을 제안한다. 자기 정규화 부등식과 적응적인 분산 경계를 활용하여 시간과 점에 걸쳐 균일한 신뢰 구간을 확보함으로써, 알려진 노이즈 분산을 가정하지 않고도 이론적으로 타당한 적응적 튜닝이 가능하다. 이는 개선된 리그레트 경계를 갖는 커널화된 밴딧에서 입증되었다.

ABSTRACT

We consider the problem of streaming kernel regression, when the observations arrive sequentially and the goal is to recover the underlying mean function, assumed to belong to an RKHS. The variance of the noise is not assumed to be known. In this context, we tackle the problem of tuning the regularization parameter adaptively at each time step, while maintaining tight confidence bounds estimates on the value of the mean function at each point. To this end, we first generalize existing results for finite-dimensional linear regression with fixed regularization and known variance to the kernel setup with a regularization parameter allowed to be a measurable function of past observations. Then, using appropriate self-normalized inequalities we build upper and lower bound estimates for the variance, leading to Bersntein-like concentration bounds. The later is used in order to define the adaptive regularization. The bounds resulting from our technique are valid uniformly over all observation points and all time steps, and are compared against the literature with numerical experiments. Finally, the potential of these tools is illustrated by an application to kernelized bandits, where we revisit the Kernel UCB and Kernel Thompson Sampling procedures, and show the benefits of the novel adaptive kernel tuning strategy.

연구 동기 및 목표

• 정규화 및 노이즈 분산을 온라인으로 튜닝할 때 적응적 커널 회귀에 이론적 보장을 제공하지 못하는 문제를 해결하기 위해.
• 스트리밍 커널 회귀에서 모든 시간 단계와 입력 점에 걸쳐 균일한 신뢰 구간을 유지하는 보장을 개발하기 위해.
• 알려진 노이즈 분산을 가정하지 않고도 경험적 분산 추정치를 기반으로 정규화 파라미터를 적응적으로 튜닝할 수 있도록 하기 위해.
• 순차적 학습에서 커널 하이퍼파rameter의 온라인 튜닝을 위한 이론적으로 탄탄한 방법을 제공하기 위해.
• 고정된 정규화를 적응적이고 데이터 기반의 선택으로 대체함으로써 커널화된 밴딧 알고리즘의 성능을 향상시키기 위해.

제안 방법

• 과거 관측치의 가측 함수로 정규화를 갖는 커널 회귀에 유한 차원 농도 부등식을 일반화한다.
• 자기 정규화 부등식을 사용하여 노이즈 분산의 상한 및 하한을 제공하는 스트리밍 분산 추정기 도입.
• 추정된 분산을 통합한 경험적 버르슈타인 유사 농도 부등식 유도로 더 날카운 신뢰 구간 확보.
• 분산 추정치를 활용해 각 시간 단계에서 정규화 파라미터를 적응적으로 튜닝함으로써 이론적 보장을 확보.
• 프레임워크를 커널화된 밴딧에 적용하여, 적응적 정규화를 갖는 Kernel UCB 및 톰슨 샘플링 개선.
• 리그레트 분석에서 추정 오차의 합을 제어하기 위해 아즈마-후프딩 부등식을 사용하여 고확률 경계 확보.

실험 결과

연구 질문

• RQ1 정규화 파라미터가 과거 관측치에 기반해 적응적으로 조정될 때, 스트리밍 커널 회귀에서 균일한 신뢰 구간을 유지할 수 있는가?
• RQ2 사전 지식 없이 실시간으로 노이즈 분산을 추정하면서도 이론적 보장을 유지할 수 있는가?
• RQ3 적응적 정규화가 커널화된 밴딧 알고리즘의 리그레트에 어떤 영향을 미치는가?
• RQ4 시간에 따라 변하는 정규화와 추정된 분산을 갖는 커널 회귀에 대한 농도 부등식을 유도할 수 있는가?
• RQ5 제안된 적응적 방법은 고정 파라미터 기반 베이스라인 대비 리그레트와 신뢰 구간의 날카움 측면에서 어떻게 비교되는가?

주요 결과

• 적응적 정규화를 적용하더라도 모든 시간 단계와 입력 점에 걸쳐 균일한 신뢰 구간을 확보한다.
• 적응적 정규화 전략은 고정 파라미터 접근법 대비 더 날카운 신뢰 구간을 제공한다.
• 적응적 방법을 사용할 경우 커널화된 밴딧의 리그레트 경계는 O(√T log T)로 스케일링되며, 고정 파라미터 기반 베이스라인보다 향상된다.
• 알려진 노이즈 분산을 가정하지 않아도 온라인 커널 학습에 대한 이론적 보장을 제공하는 프레임워크를 구현한다.
• 수치 실험을 통해 추정 정확도 향상과 리그레트 감소 측면에서 제안 방법의 실용적 이점을 확인한다.
• 유도된 경계는 서브가우시안 노이즈 하에서 유효하며, 노이즈 수준에 대한 사전 지식이 필요하지 않다.