[论文解读] Generalizing Complex Hypotheses on Product Distributions: Auctions, Prophet Inequalities, and Pandora's Problem

Chenghao Guo, Zhiyi Huang+2 more|arXiv (Cornell University)|Nov 27, 2019

Machine Learning and Algorithms参考文献 37被引用 9

一句话总结

本文提出了一种针对乘积分布上学习问题的新型泛化理论，绕过了传统的假设类复杂度度量方法。它建立了紧致的样本复杂度界——对于有界边缘支持为 $\frac{nk}{\rho^2}$，在强单调性条件下为 $\frac{n}{\rho^2}$，从而在拍卖、先知不等式和庞达拉问题中实现了最优界。

ABSTRACT

This paper explores a theory of generalization for learning problems on product distributions, complementing the existing learning theories in the sense that it does not rely on any complexity measures of the hypothesis classes. The main contributions are two general sample complexity bounds: (1) $ ilde{O} \big( \frac{nk}{ε^2} \big)$ samples are sufficient and necessary for learning an $ε$-optimal hypothesis in any problem on an $n$-dimensional product distribution, whose marginals have finite supports of sizes at most $k$; (2) $ ilde{O} \big( \frac{n}{ε^2} \big)$ samples are sufficient and necessary for any problem on $n$-dimensional product distributions if it satisfies a notion of strong monotonicity from the algorithmic game theory literature. As applications of these theories, we match the optimal sample complexity for single-parameter revenue maximization (Guo et al., STOC 2019), improve the state-of-the-art for multi-parameter revenue maximization (Gonczarowski and Weinberg, FOCS 2018) and prophet inequality (Correa et al., EC 2019), and provide the first and tight sample complexity bound for Pandora's problem.

研究动机与目标

• 通过将关注点从假设类复杂度转向数据结构，特别是乘积分布，填补学习理论中的空白。
• 开发独立于传统复杂度度量（如VC维或伪维数）的泛化界。
• 为算法博弈论和最优停止问题中的基本问题在乘积分布下提供紧致的样本复杂度界。
• 利用单一理论框架统一并改进现有在收益最大化、先知不等式和庞达拉问题中的结果。
• 探索问题的结构性质（如强单调性）是否能带来优于仅依赖假设类复杂度度量的样本复杂度。

提出的方法

• 在每个边缘支持大小至多为 $k$ 的 $n$-维乘积分布上制定学习问题。
• 引入一个通用的样本复杂度界 $\tilde{O}(\frac{nk}{\epsilon^2})$，适用于此类分布上的任意问题，且独立于假设类复杂度。
• 从算法博弈论中引入并利用强单调性的概念，推导出更紧致的界 $\tilde{O}(\frac{n}{\epsilon^2})$。
• 使用赫林格距离和总变差距离界，将乘积假设下的经验条件分布与真实条件分布关联起来。
• 应用集中不等式和柯西-施瓦茨不等式，控制在乘积空间上期望值估计的误差。
• 建立下界以证明所推导的样本复杂度界的紧致性。

实验结果

研究问题

• RQ1 是否可以为不依赖于假设类复杂度度量的乘积分布上的学习问题推导出泛化界？
• RQ2 当估值独立分布时，学习收益最大化的拍卖问题的最优样本复杂度是多少？
• RQ3 优化问题中的强单调性是否能带来相比一般假设类的改进样本复杂度界？
• RQ4 在乘积分布下，庞达拉问题的最紧致样本复杂度是多少？
• RQ5 是否存在超越假设类复杂度的问题结构性质，能在乘积空间学习中提供更好的泛化保证？

主要发现

• 本文为在边缘支持大小至多为 $k$ 的 $n$-维乘积分布上学习 $\epsilon$-最优假设，建立了通用的样本复杂度界 $\tilde{O}(\frac{nk}{\epsilon^2})$。
• 对于满足强单调性的问题，样本复杂度降低至 $\tilde{O}(\frac{n}{\epsilon^2})$，该界是紧致的，并与单参数收益最大化的最优界一致。
• 该理论改进了多参数收益最大化的最先进水平，相较于基于伪维数或覆盖数的先前工作，显著降低了样本复杂度。
• 它首次为庞达拉问题提供了紧致的样本复杂度界，解决了最优停止和顺序采样中的一个开放问题。
• 这些界被证明既充分又必要，通过匹配的下界确立了紧致性。
• 该框架与现有学习理论互补，在假设类复杂但数据结构（乘积独立性）可被利用时，表现出更优性能。