[论文解读] Conditional mean embeddings as regressors - supplementary

Steffen Grünewälder, Guy Lever+4 more|arXiv (Cornell University)|May 21, 2012

Advanced Statistical Methods and Models参考文献 17被引用 8

一句话总结

本文建立了再生核希尔伯特空间（RKHS）中条件均值嵌入与向量值回归之间的理论等价性，使基于回归的方法可用于学习条件分布。该文提出一种正则化损失函数，推导出最小最大收敛速率 $O(\log n / n)$——优于先前的 $O(n^{-1/4})$ 速率，并提出一种基于 $\ell_{2,1}$-范数正则化的稀疏嵌入算法，在强化学习任务中验证了其优越的稀疏性与泛化能力。

ABSTRACT

We demonstrate an equivalence between reproducing kernel Hilbert space (RKHS) embeddings of conditional distributions and vector-valued regressors. This connection introduces a natural regularized loss function which the RKHS embeddings minimise, providing an intuitive understanding of the embeddings and a justification for their use. Furthermore, the equivalence allows the application of vector-valued regression methods and results to the problem of learning conditional distributions. Using this link we derive a sparse version of the embedding by considering alternative formulations. Further, by applying convergence results for vector-valued regression to the embedding problem we derive minimax convergence rates which are O(\log(n)/n) -- compared to current state of the art rates of O(n^{-1/4}) -- and are valid under milder and more intuitive assumptions. These minimax upper rates coincide with lower rates up to a logarithmic factor, showing that the embedding method achieves nearly optimal rates. We study our sparse embedding algorithm in a reinforcement learning task where the algorithm shows significant improvement in sparsity over an incomplete Cholesky decomposition.

研究动机与目标

• 建立 RKHS 中条件均值嵌入与向量值回归之间的正式联系。
• 为条件均值嵌入提供一种有原则的正则化损失函数，支持交叉验证并改善优化性能。
• 在比以往工作更温和的假设下，推导出更紧致的最小最大收敛速率。
• 提出一种基于 $\ell_{2,1}$-范数正则化的稀疏嵌入算法，以利用标签信息。
• 在强化学习设置中验证稀疏方法，展示其在稀疏性与泛化能力方面优于现有方法。

提出的方法

• 将条件均值嵌入形式化为 RKHS 中的向量值回归问题，采用自然的 Tikhonov 正则化损失函数。
• 定义嵌入估计为 $\hat{\mu}(x) = \sum_{i=1}^n \alpha_i(x) L(y_i, \cdot)$，其中 $\alpha_i(x) = \sum_{j=1}^n W_{ij} K(x_j, x)$ 且 $\bm{W} = (\bm{K} + \lambda n \bm{I})^{-1}$。
• 通过用 $\ell_{2,1}$-范数正则化替换标准 Tikhonov 惩罚，引入稀疏变体，以在行和列上同时诱导稀疏性。
• 在稀疏形式中使用交叉验证来调节正则化参数 $\gamma$。
• 利用向量值回归理论的收敛结果，推导嵌入估计器的最小最大速率。
• 在包含 200 个训练样本的摆杆倒立问题强化学习任务中实现并评估稀疏算法。

实验结果

研究问题

• RQ1 条件均值嵌入能否被正式解释为向量值回归问题的解？
• RQ2 条件均值嵌入所最小化的自然正则化损失函数是什么？
• RQ3 在此回归框架下，能否在更温和的假设下改进条件均值嵌入的收敛速率？
• RQ4 如何在保持泛化性能的同时，在嵌入估计中引入稀疏性？
• RQ5 所提出的稀疏嵌入方法能否在实际学习任务中优于现有稀疏化技术（如不完全 Cholesky 分解）？

主要发现

• 条件均值嵌入等价于具有 Tikhonov 正则化损失函数的向量值回归问题的解。
• 该方法实现了最小最大收敛速率 $O(\log n / n)$，显著优于先前最先进方法的 $O(n^{-1/4})$ 速率。
• 新速率在比以往结果更温和且更直观的假设下成立。
• 推导出的上界速率在对数因子内达到最优，与已知下界一致。
• 基于 $\ell_{2,1}$-范数正则化的所提稀疏嵌入算法，在强化学习任务中实现的稀疏性优于不完全 Cholesky 分解。
• 该算法支持交叉验证进行参数选择，这在以往因缺乏嵌入的明确定义损失函数而不可行。