[논문 리뷰] Two-stage Sampled Learning Theory on Distributions

Zoltán Szabó, Arthur Gretton외 2명|arXiv (Cornell University)|2014. 02. 07.

Domain Adaptation and Few-Shot Learning인용 수 23

한 줄 요약

이 논문은 오직 분포에서의 표본만 관측 가능한 두 단계 샘플링 설정에서 분포 회귀에 대해 처음으로 일致성 및 수렴 속도 보장을 제공한다. 분포를 재생 핵 힐버트 공간(RKHS)에 통합하고, 커널 리지 회귀를 적용하는 방법을 제안하며, 미묘한 조건 하에서 고전적 세트 커널과 기타 분포 커널에 대해 일치성을 증명하고, 총 표본 크기와 문제의 복잡성에 따라 명시적인 수렴 속도를 유도한다.

ABSTRACT

We focus on the distribution regression problem: regressing to a real-valued response from a probability distribution. Although there exist a large number of similarity measures between distributions, very little is known about their generalization performance in specific learning tasks. Learning problems formulated on distributions have an inherent two-stage sampled difficulty: in practice only samples from sampled distributions are observable, and one has to build an estimate on similarities computed between sets of points. To the best of our knowledge, the only existing method with consistency guarantees for distribution regression requires kernel density estimation as an intermediate step (which suffers from slow convergence issues in high dimensions), and the domain of the distributions to be compact Euclidean. In this paper, we provide theoretical guarantees for a remarkably simple algorithmic alternative to solve the distribution regression problem: embed the distributions to a reproducing kernel Hilbert space, and learn a ridge regressor from the embeddings to the outputs. Our main contribution is to prove the consistency of this technique in the two-stage sampled setting under mild conditions (on separable, topological domains endowed with kernels). For a given total number of observations, we derive convergence rates as an explicit function of the problem difficulty. As a special case, we answer a 15-year-old open question: we establish the consistency of the classical set kernel [Haussler, 1999; Gartner et. al, 2002] in regression, and cover more recent kernels on distributions, including those due to [Christmann and Steinwart, 2010].

연구 동기 및 목표

• 오직 분포에서의 표본만 관측 가능한 두 단계 샘플링 설정에서 분포 회귀가 일관되게 해결될 수 있는지에 대한 근본적인 열린 문제를 다루는 것.
• 간단하면서도 효과적인 방법인 분포를 재생 핵 힐버트 공간(RKHS)에 통합한 후 리지 회귀를 적용하는 데 이론적 보장을 제공하는 것.
• 15년 전의 열린 문제인 고전적 세트 커널이 회귀 과제에서 일관성 있는지 입증하는 것.
• 입력 도메인과 커널 구조에 대한 일반 조건 하에서 제안된 방법의 명시적 수렴 속도를 도출하는 것.
• 가우시안, 지수, 매트른 커널 기반의 분포 커널을 포함한 광범위한 분포 커널 클래스로 이론적 분석을 확장하는 것.

제안 방법

• 각 관측된 분포(독립 동일분포 표본 집합으로 표현됨)를 표본 점들 사이의 커널 함수를 사용해 재생 핵 힐버트 공간(RKHS)에 통합한다.
• 그 후, RKHS 통합값에서 실수 응답 변수로의 매핑을 학습하기 위해 커널 리지 회귀를 적용한다.
• 이론적 분석은 두 단계 샘플링 프레임워크에서 수행된다: 첫째, 분포들이 메타분포에서 추출된다; 둘째, 각 분포에서 표본들이 추출된다.
• 논문은 학습된 추정기의 초과 위험( excess risk )이 분포 수와 각 분포당 표본 수가 증가함에 따라 0으로 수렴함을 증명함으로써 일치성을 확립한다.
• glN $의 총 표본 크기 $ t = lN $에 따라, 부드러움 파라미터 $ c $와 유효 차원 $ b $로 특징지어진 사전 가족의 분포에 대해 수렴 속도를 도출한다.
• 분석은 도메인(분리 가능, 위상적)과 커널(특성, 유계)에 대한 미묘한 가정에 기반하며, 커널 밀도 추정을 피한다.

실험 결과

연구 질문

• RQ1 표본화된 분포의 RKHS 통합에 대해 커널 리지 회귀가 두 단계 샘플링 설정에서 일관성 있는가?
• RQ2 고전적 세트 커널이 분포 회귀에서 일관성 있는지 입증할 수 있는가? 이는 15년 전의 열린 문제를 해결하는 것이다.
• RQ3 부드러움과 유효 차원의 정도에 따라 분포 회귀의 명시적 수렴 속도는 무엇인가?
• RQ4 커널 밀도 추정에 의존하는 기존 방법과 이론적으로 비교했을 때 제안된 방법은 어떻게 되는가?
• RQ5 이론적 프레임워크를 가우시안, 지수, 매트른 커널 기반의 광범위한 분포 커널 클래스로 확장할 수 있는가?

주요 결과

• 제안된 방법은 분리 가능 위상적 도메인과 특성 커널을 포함한 미묘한 조건 하에서 두 단계 샘플링 설정에서 분포 회귀에 대해 일관성을 달성한다.
• 논문은 15년 전의 열린 문제를 해결하여 고전적 세트 커널이 회귀 과제에서 일관성 있음을 입증한다.
• 고정된 총 표본 수 $ t = lN $ 하에서, 회귀 함수가 부드러운 경우($ c=2 $) 수렴 속도는 $ 1/t^{2/7} $이며, 비부드러운 경우($ c=1 $)는 $ 1/t^{1/5} $이다.
• 실험 평가에서 커널의 앙상블을 사용하여 예측 오차가 $ 100 \times \text{RMSE} = 7.86 \pm 1.71 $를 기록하여 강건성과 뛰어난 성능을 입증한다.
• RKHS 통합에 대한 비선형 커널은 성능을 더욱 향상시키며, 앙상블의 경우 $ 100 \times \text{RMSE} = 7.81 \pm 1.64 $를 기록하여 선형 및 다항식 커널을 능가한다.
• 이론적 프레임워크는 가우시안, 지수, 유리함수 제곱, 매트른 커널을 포함한 광범위한 분포 커널을 커버하며, 명시적 수렴 보장을 제공한다.