[論文レビュー] A Note on Concentration Inequalities for U-Statistics

Yannik Pitcan|arXiv (Cornell University)|Dec 17, 2017

Point processes and geometric inequalities参考文献 3被引用数 7

ひとこと要約

本稿では、U統計量に対する古典的集中不等式—ホフディングの補題とベルシュタインの補題—の明示的導出を提供し、対称和表現を用いて独立性を誘導することで、標準的なモーメントバウンドの適用を可能にしている。$P$-退化下では、古典的な$O(n^{-1/2})$のレートよりも優れる$O(n^{-m/2})$のより緊密なレートを確立し、重い尾を持つカーネルに対しては、中央値の平均推定器などのロバストな代替手法についても議論している。

ABSTRACT

The aim of this paper is to discuss various concentration inequalities for U-statistics and most recent results. A special focus will be on providing proofs for bounds on the U-statistics using classical concentration inequalities, which, although the results well known, the proofs are not found in the literature.

研究の動機と目的

• U統計量に対する古典的集中不等式の明確で自己完結的な証明を提供すること。これらは、他の文献では散逸しているか、欠落している。
• 標準的な集中不等式の適用を可能にするために、U統計量における独立性を対称和分解によって誘導するメカニズムを明確にすること。
• 退化仮定下での古典的バウンドと最近の改善を比較し、ロバスト性と尾の挙動におけるトレードオフを議論すること。
• デカップリングと中央値の平均推定器が、有界性仮定なしにロバストな集中を達成する役割を検討すること。

提案手法

• i.i.d.標本のすべての順列の平均としてU統計量を表現し、独立なブロックに分解可能な対称和に変換する。
• 各ブロックを独立な確率変数とみなして、ブロック平均化U統計量にホフディングの不等式およびベルシュタインの不等式を適用する。
• 指数モーメントに対してジャンセンの不等式とマコフの不等式を用い、モーメント生成関数を介して尾確率をバウンドする。
• 個々のモーメント生成関数を用いて、確率変数の凸結合の尾確率をバウンドする重要な補題を導入する。
• 従属する二次形式を独立な双線形形式に置き換えるデカップリング技術を採用し、退化下での集中を改善する。
• 有界性仮定なしに、重い尾を持つカーネル下でのロバスト性を達成するために、ブロック平均化U統計量の中央値の平均推定器を採用する。

実験結果

リサーチクエスチョン

• RQ1 U統計量には固有の依存性があるにもかかわらず、ホフディングの補題やベルシュタインの補題といった古典的集中不等式をどのように厳密に適用できるか。
• RQ2 $P$-退化下でのU統計量の集中レートは正確にどの程度で、古典的な$ n^{-1/2} $レートと比べてどう異なるか。
• RQ3 デカップリングの議論が、退化U統計量の集中バウンドをどのように改善するか。
• RQ4 重い尾を持つカーネルの下で、中央値の平均推定器が標準的U統計量をどのように上回るか。
• RQ5 有界性仮定、退化、ロバスト性の間のトレードオフは、U統計量の集中においてどのように現れるか。

主な発見

• 本稿では、対称和分解とモーメント生成関数技術を用いて、U統計量に対するホフディング型バウンドを導出し、$ c $ が $ m $ に依存するとして、$ P(|U_n(h) - m_h| > t) \leq 2\exp\big(-c n t^2 / \|h\|_{\infty}^2\big) $ を得た。
• $P$-退化が $ m-1 $ 階で成立する下では、古典的な$ O(n^{-1/2}) $レートよりも顕著に改善された$ O(n^{-m/2}) $のより速い集中レートを示した。
• 正準カーネルの場合、アーコネスとジネの結果により、$ P(|U_n(h) - m_h| \geq c_1 \|h\|_{\infty} (\log(c_2/\delta)/n)^{m/2}) \leq \delta $ が得られ、改善されたレートを確認した。
• 中央値の平均推定器は、重い尾分布下で$ O(\sqrt{\log(1/\delta)/n}) $の誤差を達成し、有界性を仮定せずともロバスト性を維持した。
• カーネルが $ m-1 $ 階で退化している場合、中央値の平均U統計量は、標準的U統計量と同様に$ O(n^{-m/2}) $のレートを達成したが、有界性を要件としなかった。
• デカップリングの議論、例えば$ \langle AX, X \rangle $を$ \langle AX, X' \rangle $に置き換えることにより、依存性を低減し、退化下での集中バウンドをより緊密にした。