[论文解读] Learning from Conditional Distributions via Dual Kernel Embeddings.

Bo Dai, Niao He+3 more|arXiv (Cornell University)|Jul 15, 2016

Stochastic Gradient Optimization Techniques参考文献 23被引用 6

一句话总结

本文提出了一种新颖的极小-极大优化框架，通过双重核嵌入学习条件分布，即使在每个条件分布中仅有少量或单一样本的情况下，也能实现有效的函数逼近。该方法通过镜像下降随机逼近估计联合分布的核嵌入，在策略评估和不变表示学习任务中实现了最先进性能。

ABSTRACT

In many machine learning problems, such as policy evaluation in reinforcement learning and learning with invariance, each data point $x$ itself is a conditional distribution $p(z|x)$, and we want to learn a function $f$ which links these conditional distributions to target values $y$. The learning problem becomes very challenging when we only have limited samples or in the extreme case only one sample from each conditional distribution $p(z|x)$. Commonly used approaches either assume that $z$ is independent of $x$, or require an overwhelmingly large sample size from each conditional distribution. To address these challenges, we propose a novel approach which reformulates the original problem into a min-max optimization problem. In the new view, we only need to deal with the kernel embedding of the joint distribution $p(z,x)$ which is easy to estimate. Furthermore, we design an efficient learning algorithm based on mirror descent stochastic approximation, and establish the sample complexity for learning from conditional distributions. Finally, numerical experiments in both synthetic and real data show that our method can significantly improve over the previous state-of-the-arts.

研究动机与目标

• 解决在每个分布中仅有少量样本时，从条件分布中学习函数的挑战。
• 克服现有方法中假设 z 与 x 独立或需要大量样本的局限性。
• 为策略评估和不变性学习等任务开发一种样本高效的学習框架。
• 通过联合分布的核嵌入形式化问题，以实现实际估计。
• 建立在有限数据条件下从条件分布中学习的理论样本复杂度边界。

提出的方法

• 将学习问题重新表述为对联合分布 p(z,x) 的双重核嵌入的极小-极大优化。
• 使用核嵌入表示联合分布 p(z,x)，该方法在有限数据下更具鲁棒性且可估计。
• 应用镜像下降随机逼近方法，高效求解极小-极大优化问题。
• 直接从观测样本估计 p(z,x) 的核嵌入，避免对条件独立性的假设。
• 利用再生表示定理，将解表示为核函数形式，实现可扩展计算。
• 设计一种迭代算法，交替优化对偶变量并更新函数估计。

实验结果

研究问题

• RQ1 当每个 x 仅有一个样本时，我们能否学习一个函数 f，将条件分布 p(z|x) 映射到目标值 y？
• RQ2 我们如何避免现有方法中困扰的 z 与 x 之间强独立性假设？
• RQ3 在数据有限条件下，从条件分布中学习的理论样本复杂度是多少？
• RQ4 我们能否在策略评估和不变表示学习中实现优于最先进方法的性能？
• RQ5 在数据稀缺条件下，所提出的双重核嵌入框架与现有基线相比在实验上表现如何？

主要发现

• 所提出方法在合成和真实世界实验中显著优于先前最先进方法，尤其在数据稀缺条件下表现突出。
• 即使每个条件分布仅有一个样本，该方法仍能实现稳定且准确的函数估计。
• 理论分析建立了有利的样本复杂度边界，证明了数据使用的高效性。
• 实证结果表明，与基线相比，该方法在强化学习策略评估任务中性能更优。
• 镜像下降随机逼近算法收敛可靠，并能有效扩展至高维设置。