[논문 리뷰] Conditional mean embeddings as regressors - supplementary

Steffen Grünewälder, Guy Lever외 4명|arXiv (Cornell University)|2012. 05. 21.

Advanced Statistical Methods and Models참고 문헌 17인용 수 8

한 줄 요약

이 논문은 재생 핵 힐버트 공간(RKHS) 내 조건부 평균 임bedding과 벡터-값 함수 회귀 간 이론적 동치성을 확립하여, 조건부 분포 학습을 위한 회귀 기반 방법의 사용을 가능하게 한다. 정규화된 손실 함수를 도입하고, $O(\log n / n)$의 최소 최대 수렴 속도를 도출하며, 이는 이전의 $O(n^{-1/4})$ 속도보다 향상된 것이다. 또한 $\ell_{2,1}$-노름 정규화를 사용한 희소 임베딩 알고리즘을 제안하였으며, 강화 학습 과제에서 뛰어난 희소성과 일반화 성능을 입증하였다.

ABSTRACT

We demonstrate an equivalence between reproducing kernel Hilbert space (RKHS) embeddings of conditional distributions and vector-valued regressors. This connection introduces a natural regularized loss function which the RKHS embeddings minimise, providing an intuitive understanding of the embeddings and a justification for their use. Furthermore, the equivalence allows the application of vector-valued regression methods and results to the problem of learning conditional distributions. Using this link we derive a sparse version of the embedding by considering alternative formulations. Further, by applying convergence results for vector-valued regression to the embedding problem we derive minimax convergence rates which are O(\log(n)/n) -- compared to current state of the art rates of O(n^{-1/4}) -- and are valid under milder and more intuitive assumptions. These minimax upper rates coincide with lower rates up to a logarithmic factor, showing that the embedding method achieves nearly optimal rates. We study our sparse embedding algorithm in a reinforcement learning task where the algorithm shows significant improvement in sparsity over an incomplete Cholesky decomposition.

연구 동기 및 목표

• RKHS 내 조건부 평균 임베딩과 벡터-값 함수 회귀 간 공식적인 연결 고리를 확립하기 위해.
• 조건부 평균 임베딩을 위한 원칙적인 정규화된 손실 함수를 제공하여 교차 검증과 향상된 최적화를 가능하게 하기 위해.
• 이전 연구보다 더 약한 가정 조건 하에서도 더 날카운 수렴 속도를 유도하기 위해.
• $\ell_{2,1}$-노름 정규화를 사용하여 레이블 정보를 활용하는 희소 임베딩 알고리즘을 개발하기 위해.
• 제안된 희소 방법이 기존 방법들과 비교해 실용적 학습 과제에서 뛰어난 희소성과 일반화 성능을 보여주는지 검증하기 위해.

제안 방법

• RKHS 내에서 자연스러운 티호노프 정규화 손실 함수를 사용해 조건부 평균 임베딩을 벡터-값 함수 회귀 문제의 해로 공식화하기 위해.
• 임베딩 추정치를 $\hat{\mu}(x) = \sum_{i=1}^n \alpha_i(x) L(y_i, \cdot)$로 정의하며, 여기서 $\alpha_i(x) = \sum_{j=1}^n W_{ij} K(x_j, x)$ 이고 $\bm{W} = (\bm{K} + \lambda n \bm{I})^{-1}$ 이다.
• 표준 티호노프 페널티를 $\bm{W}$ 행렬에 대한 $\ell_{2,1}$-노름 페널티로 대체하여 행과 열 양쪽에 걸쳐 희소성을 유도하는 희소 변형을 도입하기 위해.
• 희소 형식에서 정규화 파라미터 $\gamma$를 조정하기 위해 교차 검증을 적용하기 위해.
• 벡터-값 함수 회귀 이론의 수렴 결과를 활용해 임베딩 추정기의 최소 최대 속도를 도출하기 위해.
• 200개의 학습 샘플을 포함한 펜듈럼 스윙업 문제를 포함한 강화 학습 과제에서 희소 알고리즘을 구현하고 평가하기 위해.

실험 결과

연구 질문

• RQ1 조건부 평균 임베딩은 공식적으로 벡터-값 함수 회귀 문제의 해로 해석될 수 있는가?
• RQ2 조건부 평균 임베딩이 최소화하는 자연스러운 정규화된 손실 함수는 무엇인가?
• RQ3 이러한 회귀 프레임워크를 통해 더 약한 가정 조건 하에서도 조건부 평균 임베딩의 수렴 속도를 향상시킬 수 있는가?
• RQ4 일반화 성능을 유지하면서 임베딩 추정치에 희소성을 유도할 수 있는 방법은 무엇인가?
• RQ5 제안된 희소 임베딩 방법은 실용적 학습 과제에서 기존의 불완전 콜레스키 분해와 같은 희소화 기법보다 뛰어난 성능을 보일 수 있는가?

주요 결과

• 조건부 평균 임베딩은 티호노프 정규화 손실 함수를 갖는 벡터-값 함수 회귀 문제의 해와 동치이다.
• 이 방법은 $O(\log n / n)$의 최소 최대 수렴 속도를 달성하며, 이는 이전 최고 성능 기준인 $O(n^{-1/4})$에 비해 상당한 향상이다.
• 이러한 새로운 수렴 속도는 이전 결과보다 더 약하고 더 직관적인 가정 조건 하에서도 성립한다.
• 유도된 상한 속도는 로그 인자 외에는 최적이며, 알려진 하한값과 일치한다.
• 제안된 $\ell_{2,1}$-노름 정규화 기반 희소 임베딩 알고리즘은 강화 학습 과제에서 불완전 콜레스키 분해보다 더 뛰어난 희소성을 달성한다.
• 알고리즘은 파라미터 선택을 위한 교차 검증을 가능하게 하여, 이전에는 임베딩용 정의된 손실 함수가 없어 불가능했던 사례를 해결한다.