[論文レビュー] A Sample Complexity Measure with Applications to Learning Optimal Auctions

Vasilis Syrgkanis|arXiv (Cornell University)|Apr 9, 2017

Auction Theory and Applications参考文献 9被引用数 12

ひとこと要約

本稿では、最適オークションの学習分析を簡素化する新しい標本複雑度測度である分割標本成長率を導入する。期待一般化誤差が $ O\left(\sqrt{\frac{\log(\hat{\tau}_H(2m))}{m}}\right) $ で有界であることを示すことにより、特にERM出力が標本値にのみ依存するオークションクラスに対して、擬似次元や圧縮バウンドに依存せずに、よりタイトで直感的な標本複雑度バウンドを可能にする。

ABSTRACT

We introduce a new sample complexity measure, which we refer to as split-sample growth rate. For any hypothesis $H$ and for any sample $S$ of size $m$, the split-sample growth rate $\hatτ_H(m)$ counts how many different hypotheses can empirical risk minimization output on any sub-sample of $S$ of size $m/2$. We show that the expected generalization error is upper bounded by $O\left(\sqrt{\frac{\log(\hatτ_H(2m))}{m}} ight)$. Our result is enabled by a strengthening of the Rademacher complexity analysis of the expected generalization error. We show that this sample complexity measure, greatly simplifies the analysis of the sample complexity of optimal auction design, for many auction classes studied in the literature. Their sample complexity can be derived solely by noticing that in these auction classes, ERM on any sample or sub-sample will pick parameters that are equal to one of the points in the sample.

研究の動機と目的

• 一般化誤差の分析を簡素化する新しい標本複雑度測度の開発を目的とする。
• 多様な真実性保証オークションクラスにわたる標本複雑度バウンドを導出する統一的枠組みの提供を目的とする。
• 擬似次元や圧縮バウンドといった複雑なツールに代わって、部分標本における経験的リスク最小化に基づく、より単純で直感的な測度の導入を目的とする。
• アイテム価格設定、バンドル価格設定、およびそれらの組み合わせといった一般的なオークション形式に対して、よりタイトな標本複雑度バウンドの達成を目的とする。
• ERMパラメータが標本値に制限されるオークションクラスにおいて、分割標本成長率が本質的な複雑度を的確に捉えられることを示すことを目的とする。

提案手法

• 標本 $ S $ のサイズ $ m $ からサイズ $ \lceil m/2 \rceil $ の任意の部分標本に対してERMが出力するすべての仮説の集合として定義される分割標本仮説空間 $ \hat{H}_S $ を導入する。
• 分割標本成長率 $ \hat{\tau}_H(m) = \sup_S |\hat{H}_S| $ を定義し、サイズ $ m/2 $ の任意の部分標本に対してERMが生成できる異なる仮説の最大数を測定する。
• 一般化誤差バウンドを確立する：$ \mathbb{E}[\textsc{R}_D(h_S)] \geq \sup_h \textsc{R}_D(h) - O\left(\sqrt{\frac{\log(\hat{\tau}_H(2m))}{m}}\right) $。
• ERMパラメータ（例：レーティング価格、しきい値）が標本値に等しくなる必要があるオークションクラスにこの測度を適用し、$ \hat{\tau}_H(m) $ に対して多項式バウンドを導出する。
• このバウンドを用いて、仮想福利のオークションに対して $ m_H(\epsilon) = O\left(\frac{n \log(1/\epsilon)}{\epsilon^3}\right) $、アイテムおよびバンドル価格設定に対して $ O\left(\frac{nk \log(1/\epsilon)}{\epsilon^2}\right) $ の標本複雑度を導出する。
• 従来の擬似次元を用いた解析で見られる対数因子を除去することで、より明確でタイトなバウンドを実現する方法の有効性を示す。

実験結果

リサーチクエスチョン

• RQ1 最適オークション学習における一般化誤差の分析を簡素化する新しい標本複雑度測度を開発することは可能か？
• RQ2 擬似次元やラデマッハ複雑度といった従来のツールと比較して、分割標本成長率はよりタイトで直感的な標本複雑度バウンドを提供するか？
• RQ3 ERM出力が標本値にのみ依存するオークションクラスにおいて、分割標本成長率を用いて明示的な標本複雑度バウンドを導出可能か？
• RQ4 従来の複雑度測度に起因する対数因子を、この新しい測度が除去できるか？
• RQ5 真実性保証オークションメカニズムの一般化誤差をバウンドする観点で、分割標本成長率は従来の手法に比べて効果的か？

主な発見

• 期待一般化誤差は $ O\left(\sqrt{\frac{\log(\hat{\tau}_H(2m))}{m}}\right) $ で有界であり、学習性能に対する明確で一般化可能なバウンドを提供する。
• $ \epsilon $-グリッドしきい値を伴う $ t $-レベル仮想福利のオークションでは、$ \hat{\tau}_H(m) \leq m^{n/\epsilon} $ であり、これにより標本複雑度 $ m_H(\epsilon) = O\left(\frac{n \log(1/\epsilon)}{\epsilon^3}\right) $ が得られる。
• $ k $ 個のアイテムと $ n $ 名の入札者を伴う加法的評価における匿名レーティング価格設定では、$ \hat{\tau}_H(m) = m \cdot n $ であり、標本複雑度は $ O\left(\frac{n \log(1/\epsilon)}{\epsilon^2}\right) $ となる。
• 非匿名レーティング価格設定では、$ \hat{\tau}_H(m) \leq m^{n} $ であり、標本複雑度は依然として $ O\left(\frac{n \log(1/\epsilon)}{\epsilon^2}\right) $ に保たれる。
• バンドルおよびアイテム価格設定の組み合わせでは、$ \hat{\tau}_H(m) \leq m^{n(k+1)} $ であり、標本複雑度は $ O\left(\frac{n(k+1) \log(1/\epsilon)}{\epsilon^2}\right) $ となる。
• 従来の擬似次元に基づく解析で見られた $ \log(nk) $ 要因を除去し、より明確でタイトな標本複雑度推定を実現する。