[論文レビュー] Novel Change of Measure Inequalities with Applications to PAC-Bayesian Bounds and Monte Carlo Estimation

Yuki Ohnishi, Jean Honorio|arXiv (Cornell University)|Feb 25, 2020

Statistical Mechanics and Entropy参考文献 31被引用数 5

ひとこと要約

本稿は、変分表現と一般化されたハマークリー・チャープマン・ロビンズの不等式を用いて、f-発散とα-発散に対する新たな測度変更不等式を導入する。これにより、部分ガウス分布、部分指数分布、分散が有界な損失関数に対するより緊密なPACベイジアン境界を導出し、任意の基準測度を用いたモンテカルロ推定量の漸近的でない信頼区間を提供する。これにより、機械学習モデルにおける一般化性能と不確実性の定量化の分野で、既存の結果を改善する。

ABSTRACT

We introduce several novel change of measure inequalities for two families of divergences: $f$-divergences and $α$-divergences. We show how the variational representation for $f$-divergences leads to novel change of measure inequalities. We also present a multiplicative change of measure inequality for $α$-divergences and a generalized version of Hammersley-Chapman-Robbins inequality. Finally, we present several applications of our change of measure inequalities, including PAC-Bayesian bounds for various classes of losses and non-asymptotic intervals for Monte Carlo estimates.

研究の動機と目的

• 多様な発散、特にf-発散とα-発散に適用可能な包括的な測度変更不等式の枠組みを構築すること。
• ドンスカー＝ヴァラドハンおよびハマークリー・チャープマン・ロビンズの既存の不等式を、より広範な発散族と設定に一般化すること。
• 有界性の仮定のない損失関数、特に部分ガウス分布、部分指数分布、分散が有界なケースに対して、新たなPACベイジアン境界を導出すること。
• 任意の基準測度を用いたモンテカルロ推定量の漸近的でない信頼区間を確立すること。
• より緊密な発散に基づく不等式を活用して、一般化境界における複雑さ項を改善すること。

提案手法

• f-発散の変分表現を用いて、制約付きおよび非制約付きの両状態において、新たな測度変更不等式を導出する。
• α-発散のための乗法的測度変更不等式を導入し、先行研究を一般化し、新たなPACベイジアン境界を可能にする。
• ハマークリー・チャープマン・ロビンズ不等式をχ²発散からα-発散全般に一般化する。
• 得られた不等式を用いて、事前分布からの発散と事前分布下でのモーメントを用いて、事後分布下での期待損失を束縛する。
• 部分ガウス分布および部分指数分布のための濃度不等式を用いて、標本依存の境界を導出し、標本サイズに依存する性能を改善する。
• 任意の分布に対する期待値の周りに標本平均が集中することを示すことで、モンテカルロ推定値のための漸近的でない信頼区間を確立する。

実験結果

リサーチクエスチョン

• RQ1 f-発散の変分表現を活用して、より緊密な不等式を得る新たな測度変更不等式を導出可能か？
• RQ2 α-発散に基づく不等式を、PACベイジアン学習における部分指数分布および分散が有界な損失関数に拡張可能か？
• RQ3 ハマークリー・チャープマン・ロビンズ不等式をχ²発散からα-発散全般に一般化可能か？
• RQ4 これらの新たな不等式が、モンテカルロ推定におけるより緊密な漸近的でない信頼区間の構築に与える影響は何か？
• RQ5 導出されたPACベイジアン境界は、有界でない、または裾の重い損失関数に対して、既存の手法よりも優れた複雑さ項を達成できるか？

主な発見

• 本稿は、α-発散のための新たな乗法的測度変更不等式を導出し、先行研究を一般化し、これまで取り扱われていなかった損失タイプのPACベイジアン境界を可能にする。
• 部分指数分布の損失に対しては、従来の部分ガウス分布に基づく境界よりも、特に標本数が少ない状況でより緊密な複雑さ項を達成する。
• 一般化されたハマークリー・チャープマン・ロビンズ不等式により、古典的なχ²に基づく境界がα-発散全般に拡張され、不確実性の定量化が向上する。
• 有界、部分ガウス分布、部分指数分布、分散が有界な損失関数のための新たなPACベイジアン境界が導出され、後者2つは文献において初めてのものである。
• 任意の基準測度を用いたモンテカルロ推定における漸近的でない信頼区間を確立する新規な手法が提案され、標本平均が任意の分布の期待値の周囲に集中することを示す。
• 部分指数分布の損失に対する導出された境界は、完全に新規であり、標本サイズが小さい場合に、既存の部分ガウス分布に基づく境界を上回る性能を示す。