[논문 리뷰] Learning Theory for Distribution Regression

Zoltán Szabó, Bharath K. Sriperumbudur외 2명|arXiv (Cornell University)|2014. 11. 08.

Machine Learning and Algorithms참고 문헌 72인용 수 35

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS) 내 평균 임bedding를 사용한 분포 회귀를 위한 커널 리지 회귀 방법을 제안하며, 이중 샘플링 설정에서 일致성과 최소최대 최적성(minimax optimality)을 증명한다. 고전적 세트 커널에 대한 이론적 보장을 처음으로 확보하여, 17년간 미해결이었던 문제를 해결하며, 미약한 조건 하에서 최적의 계산-통계적 효율성 트레이드오프를 달성함을 보여준다.

ABSTRACT

We focus on the distribution regression problem: regressing to vector-valued outputs from probability measures. Many important machine learning and statistical tasks fit into this framework, including multi-instance learning and point estimation problems without analytical solution (such as hyperparameter or entropy estimation). Despite the large number of available heuristics in the literature, the inherent two-stage sampled nature of the problem makes the theoretical analysis quite challenging, since in practice only samples from sampled distributions are observable, and the estimates have to rely on similarities computed between sets of points. To the best of our knowledge, the only existing technique with consistency guarantees for distribution regression requires kernel density estimation as an intermediate step (which often performs poorly in practice), and the domain of the distributions to be compact Euclidean. In this paper, we study a simple, analytically computable, ridge regression-based alternative to distribution regression, where we embed the distributions to a reproducing kernel Hilbert space, and learn the regressor from the embeddings to the outputs. Our main contribution is to prove that this scheme is consistent in the two-stage sampled setup under mild conditions (on separable topological domains enriched with kernels): we present an exact computational-statistical efficiency trade-off analysis showing that our estimator is able to match the one-stage sampled minimax optimal rate [Caponnetto and De Vito, 2007; Steinwart et al., 2009]. This result answers a 17-year-old open question, establishing the consistency of the classical set kernel [Haussler, 1999; Gaertner et. al, 2002] in regression. We also cover consistency for more recent kernels on distributions, including those due to [Christmann and Steinwart, 2010].

연구 동기 및 목표

• 이중 샘플링 설정에서 분포로부터의 샘플만 관측 가능한 장기적인 이론적 일관성 문제를 해결하기 위해.
• 커널 밀도 추정에 의존하는 기존 방법의 대안으로 계산적으로 효율적이고 분석적으로 다룰 수 있는 방법을 제시하기 위해.
• 평균 임bedding를 기반으로 한 리지 회귀 기반 방법이 이중 샘플링 설정에서 최소최대 최적 속도를 달성함을 증명하기 위해.
• 고전적 및 현대적 커널(예: 세트 커널, Christmann 및 Steinwart의 커널)이 분포에 대해 일관성 있는지 검증하기 위해.
• 제안된 추정기의 정확한 계산-통계적 효율성 트레이드오프 분석을 제공하기 위해.

제안 방법

• 특성 커널을 통해 확률 측도를 재생 커널 힐버트 공간(RKHS)에 임베딩하여 분포 간 유사도를 분석적으로 계산할 수 있도록 한다.
• 임bed된 분포를 입력으로, 벡터 값 출력을 레이블로 사용하는 커널 리지 회귀 문제를 설정한다.
• 정규화된 최소 제곱 문제의 해석적 해로서 추정기를 도출하여 계산 가능성을 보장한다.
• 이론적 분석은 출력의 유계성, 커널 사상의 홀더 연속성, 도메인의 분리 가능성 및 특성 커널의 조건을 포함한다.
• 가우시안, 지수, 코시, 역 다항식 커널 등 다양한 커널을 그 유도된 특성 맵을 통해 분포에 적용할 수 있도록 허용한다.
• 증명 기법은 베르누이-유사 조건과 Caponnetto 및 De Vito(2007) 및 Steinwart 등(2009)의 기존 최소최대 위험 경계를 활용한다.

실험 결과

연구 질문

• RQ1 평균 임bedding를 사용한 커널 리지 회귀 방법이 이중 샘플링 설정에서 분포 회귀 문제에 대해 일관성 있는가?
• RQ2 제안된 방법이 이중 샘플링 설정에서 회귀에 대해 최소최대 최적 속도를 달성하는가?
• RQ3 광범위하게 사용되지만 이론적 보장이 없는 고전적 세트 커널이 회귀에 대해 일관성 있는가?
• RQ4 이 프레임워크에서 계산 비용과 통계적 효율성 간의 정확한 트레이드오프는 무엇인가?
• RQ5 Christmann 및 Steinwart의 현대적 분포 커널도 동일한 조건 하에서 일관성 있는가?

주요 결과

• 제안된 평균 임bedding 기반 커널 리지 회귀 방법은 출력의 유계성과 커널 사상의 홀더 연속성 등의 미약한 조건 하에서 이중 샘플링 설정에서 일관성 있는 것으로 입증되었다.
• 추정기는 최소최대 최적 속도를 달성하며, Caponnetto 및 De Vito(2007) 및 Steinwart 등(2009)이 설정한 이론적 하한선과 일치한다.
• 고전적 세트 커널, $ K(\bar{x}_i, \bar{x}_j) = \frac{1}{N^2} \sum_{n,m} k(x_{i,n}, x_{j,m}) $, 이 회귀에 대해 일관성 있음을 증명하여 17년간 미해결이었던 문제를 해결하였다.
• 이 방법은 정확한 계산-통계적 효율성 트레이드오프를 달성하며, 추정기의 초과 위험( excess risk )이 표본 수 $ l $ 과 분포당 샘플 수 $ N $ 에 대해 최적 속도로 감소함을 보였다.
• 이 프레임워크는 가우시안, 지수, 코시, 역 다항식 커널 등 다양한 커널을 지원하며, 미약한 도메인 가정 하에서 필요한 홀더 연속성과 유계성 조건을 모두 만족한다.
• 분석은 진짜 회귀 함수가 RKHS에 속해 있지 않은 경우에도, 출력 분포에 대한 베르누이-유사 조건이 성립할 경우 커널 리지 회귀 추정기의 일관성을 확인한다.