[論文レビュー] Nested Sampling And Likelihood Plateaus

Doris Schittenhelm, Philipp Wacker|arXiv (Cornell University)|May 18, 2020

Gaussian Processes and Bayesian Inference参考文献 29被引用数 4

ひとこと要約

この論文は、尤度関数に無視できない平坦部（尤度が正の事前測度を持つ領域で一定である領域）を有する場合でも、ベイズ的証拠を計算するためのネストド・サブセットリングの正当性を厳密に裏付けている。標準的なネストド・サブセットリングは単位区間における一様抽出を仮定しているが、著者らは平坦部においてこの仮定が破れる場合でも積分変換が有効であることを証明し、そのような状況での性能向上を図るための修正アルゴリズムを提案している。

ABSTRACT

The main idea of nested sampling is to substitute the high-dimensional likelihood integral over the parameter space $Ω$ by an integral over the unit line $[0,1]$ by employing a push-forward with respect to a suitable transformation. For this substitution, it is often implicitly or explicitly assumed that samples from the prior are uniformly distributed along this unit line after having been mapped by this transformation. We show that this assumption is wrong, especially in the case of a likelihood function with plateaus. Nevertheless, we show that the substitution enacted by nested sampling works because of more interesting reasons which we lay out. Although this means that analytically, nested sampling can deal with plateaus in the likelihood function, the actual performance of the algorithm suffers under such a setting and the method fails to approximate the evidence, mean and variance appropriately. We suggest a robust implementation of nested sampling by a simple decomposition idea which demonstrably overcomes this issue.

研究の動機と目的

• 尤度関数に無視できない平坦部を有する場合のネストド・サブセットリングの理論的妥当性を検討すること。
• ネストド・サブセットリングにおいて、変換後の[0,1]区間における事前サンプルが一様分布に従うという暗黙の仮定が、平坦部が存在する場合に成り立つかどうかを検証すること。
• 特に生存関数の不連続性が生じる状況においても、元の仮定を超えたネストド・サブセットリングの厳密な数学的基盤を提供すること。
• 平坦部を有する尤度関数の状況において、アルゴリズム的修正を用いることでネストド・サブセットリングの実用的性能を向上させること。

提案手法

• 著者らはネストド・サブセットリングが誘導する押し出し測度を分析し、尤度に平坦部が存在する場合でも積分変換が有効であることを示している。
• 尤度が正の事前測度を持つ集合で一定である点を問題点と定義し、押し出し測度下でμ(P) = 0となる集合Pを形成する。
• 測度論的道具を用いて、平坦部に対応する区間の集合が押し出し尤度測度下で零測度であることを証明している。
• 実数直線上の開集合の性質を用いて、平坦尤度値に関連する非可算個の区間の集合が、可算個の互いに素な区間の和に還元されることを確立している。
• このような領域におけるサンプリング戦略を調整することで、平坦尤度をより効果的に扱えるようにした修正ネストド・サブセットリングアルゴリズムを提案している。
• 理論的正当化には、測度の下方連続性およびℝにおける区間の構造（特に半開区間および開区間）の性質が用いられている。

実験結果

リサーチクエスチョン

• RQ1 尤度関数が正の事前測度を持つ平坦部を有する場合、標準的なネストド・サブセットリングの積分変換は有効であるか？
• RQ2 尤度に平坦部が存在する場合、[0,1]区間における一様抽出という暗黙の仮定は成り立つか？
• RQ3 生存関数の不連続性が生じる場合でも、ネストド・サブセットリングにおける押し出し測度が正しい証拠積分を導くことができるか？
• RQ4 尤度の平坦部が存在する状況において、ネストド・サブセットリングの性能を向上させるためにどのような修正が有効か？

主な発見

• 尤度に無視できない平坦部が存在する場合でも、一様抽出仮定が破れるにもかかわらず、標準的なネストド・サブセットリングの変換は数学的に有効である。
• 平坦尤度値を有する点の集合は、押し出し測度下で事前測度がゼロであるため、積分の代入が正しく保たれる。
• 平坦尤度値に対応する区間の集合は、可算個の互いに素な区間の和に還元可能であり、測度論的整合性が保たれる。
• 平坦部に対応する区間の尤度の押し出し測度の総測度はゼロであるため、変換の正しさが裏付けられる。
• 平坦尤度状況において性能を向上させるために、サンプリングダイナミクスを調整する修正ネストド・サブセットリングアルゴリズムが提案された。
• ネストド・サブセットリングの理論的基盤は、生存関数の不連続性を有する尤度関数に対しても拡張可能であり、その適用範囲が広がる。