[論文レビュー] Generalizing Complex Hypotheses on Product Distributions: Auctions, Prophet Inequalities, and Pandora's Problem

Chenghao Guo, Zhiyi Huang+2 more|arXiv (Cornell University)|Nov 27, 2019

Machine Learning and Algorithms参考文献 37被引用数 9

ひとこと要約

本稿は、従来の仮説クラスの複雑さの測度に依存せずに、積分布上の学習問題の一般化理論を新たに提唱する。これは、有界なマージナルサポートに対して $\frac{nk}{\rho^2}$ および強い単調性のもとで $\frac{n}{\rho^2}$ のタイトな標本複雑度バウンドを確立し、オークション、予言者不等式、パンドラの問題における最適なバウンドを可能にする。

ABSTRACT

This paper explores a theory of generalization for learning problems on product distributions, complementing the existing learning theories in the sense that it does not rely on any complexity measures of the hypothesis classes. The main contributions are two general sample complexity bounds: (1) $ ilde{O} \big( \frac{nk}{ε^2} \big)$ samples are sufficient and necessary for learning an $ε$-optimal hypothesis in any problem on an $n$-dimensional product distribution, whose marginals have finite supports of sizes at most $k$; (2) $ ilde{O} \big( \frac{n}{ε^2} \big)$ samples are sufficient and necessary for any problem on $n$-dimensional product distributions if it satisfies a notion of strong monotonicity from the algorithmic game theory literature. As applications of these theories, we match the optimal sample complexity for single-parameter revenue maximization (Guo et al., STOC 2019), improve the state-of-the-art for multi-parameter revenue maximization (Gonczarowski and Weinberg, FOCS 2018) and prophet inequality (Correa et al., EC 2019), and provide the first and tight sample complexity bound for Pandora's problem.

研究の動機と目的

• 仮説クラスの複雑さからデータ構造へと焦点を移すことで、学習理論におけるギャップを埋める。特に、積分布に注目する。
• VC次元や擬似次元のような従来の複雑さの測度に依存しない一般化バウンドを構築する。
• アルゴリズム的ゲーム理論および最適停止問題における基本的問題に対する、積分布上でのタイトな標本複雑度バウンドを提供する。
• 単一の理論的枠組みを用いて、収益最大化、予言者不等式、パンドラの問題における既存の結果を統一的かつ改善する。
• 問題の構造的性質（例：強い単調性）が、単に仮説クラスの複雑さに依存するものよりも、より良い標本複雑度をもたらすかどうかを検討する。

提案手法

• 各マージナルが高々 $k$ 個の有限サポートを持つ $n$ 次元積分布上の学習問題を定式化する。
• このような分布上での任意の問題に対して、仮説クラスの複雑さに依存しない一般標本複雑度バウンド $\tilde{O}(\frac{nk}{\epsilon^2})$ を導入する。
• アルゴリズム的ゲーム理論における強い単調性の概念を定義し、これを利用してよりタイトなバウンド $\tilde{O}(\frac{n}{\epsilon^2})$ を得る。
• 積の仮定のもとで、経験的分布と真の条件付き分布の間のハリントン距離および全変動距離のバウンドを用いる。
• 集中不等式とシュワルツの不等式を用いて、積空間上の期待値推定の誤差を制御する。
• 導出された標本複雑度バウンドのタイトさを示すために、下界を確立する。

実験結果

リサーチクエスチョン

• RQ1 仮説クラスの複雑さの測度に依存せずに、積分布上の学習問題の一般化バウンドを導出可能か？
• RQ2 評価額が独立に分布している場合、収益最大化オークションを学習するための最適な標本複雑度は何か？
• RQ3 最適化問題における強い単調性が、一般の仮説クラスに比べて、より良い標本複雑度バウンドをもたらすか？
• RQ4 積分布上でのパンドラの問題に対する、最もタイトな可能な標本複雑度は何か？
• RQ5 仮説クラスの複雑さを越えた、問題の構造的性質（例：強い単調性）が、積空間上での学習におけるより良い一般化保証をもたらすか？

主な発見

• 本稿は、各マージナルのサポートサイズが高々 $k$ である $n$ 次元積分布上での $\epsilon$-最適な仮説の学習に対して、一般標本複雑度バウンド $\tilde{O}(\frac{nk}{\epsilon^2})$ を確立する。
• 強い単調性を満たす問題では、標本複雑度が $\tilde{O}(\frac{n}{\epsilon^2})$ に低下し、これはタイトであり、単一パrameter収益最大化の最適バウンドと一致する。
• 本理論は、擬似次元や被覆数に基づく先行研究に比べ、多パラメータ収益最大化の分野で状態を改善し、標本複雑度を低減する。
• パンドラの問題に対して、本稿は初めてタイトな標本複雑度バウンドを提供し、最適停止および逐次サンプリング分野における未解決の問題を解決する。
• バウンドが十分かつ必要であることが示され、一致する下界を用いてタイトさが確立されている。
• 本フレームワークは、既存の学習理論と補完的であり、仮説クラスが複雑であるがデータ構造（積の独立性）が利用可能である場合には、優れた性能を発揮する。