[論文レビュー] Bayesian Generalization Error of Poisson Mixture and Simplex Vandermonde Matrix Type Singularity

Kenichiro Sato, Sumio Watanabe|arXiv (Cornell University)|Dec 31, 2019

Bayesian Methods and Mixture Models参考文献 10被引用数 5

ひとこと要約

本稿は、ポアソン混合モデルおよび単体バーデルモンド行列型特異性の実対数正則臨界閾値（RLCT）を導出し、1次元では $\mathbb{E}[G_n] = L(w_0) + \frac{3r+H-2}{4n} + o(1/n)$、高次元では $\mathbb{E}[G_n] = L(w_0) + \frac{Mr+H-1}{2n} + o(1/n)$ という漸近的ベイズ一般化誤差の振る舞いを確立した。ここで $r = H^*$ は真の成分数である。この結果は、代数幾何学およびトーリック変形技術を用いて、$H^* > 1$ のポアソン混合モデルにおけるRLCTの長年の未解決問題を解決した。

ABSTRACT

A Poisson mixture is one of the practically important models in computer science, biology, and sociology. However, the theoretical property has not been studied because the posterior distribution can not be approximated by any normal distribution. Such a model is called singular and it is known that Real Log Canonical Threshold (RLCT) is equal to the coefficient of the asymptotically main term of the Bayesian generalization error. In this paper, we derive RLCT of a simplex Vandermonde matrix type singularity which is equal to that of a Poisson mixture in general cases.

研究の動機と目的

• 真の成分数 $H^* > 1$ の場合におけるポアソン混合モデルの実対数正則臨界閾値（RLCT）を計算するという未解決の問題を解決すること。これは、$H^* = 1$ の場合に既に得られている結果とは対照的である。
• 単体バーデルモンド行列の代数的特異構造と関連付けることにより、ポアソン混合モデルの正確な漸近的ベイズ一般化誤差の形を確立すること。
• ポアソン混合モデルのRLCTが、単体バーデルモンド行列型特異性のそれと等しいことを証明し、これら2つの特異モデルクラスの解析を統一すること。
• トーリック変形および局所座標変換を用いて、ポアソン混合モデルのRLCTに対する既存の上界を正確な値へと拡張すること。

提案手法

• 著者らは、Kullback-Leibler発散関数 $K(w)$ を平均誤差関数として分析し、特異点付近でのその漸近的挙動を導出する。
• 特に単体バーデルモンド行列構造に注目し、トーリック変形技術を用いてポアソン混合モデルの代数的特異点を解消する。
• ヤコビアン行列式を用いた変数変換により、特異構造を単純化し、特に $u^{(j)} = -a_j^* + \sum_i a_i^{(j)}$ や $b_{i(j)m}^{\prime(j)} = \sum_i a_i^{(j)}(b_{im}^{(j)} - b_{jm}^*)$ といった新しい変数を導入する。
• 特異点を既約成分に分解し、変換後の座標系における二乗項の和を用いてRLCTを計算する。
• 局所的下界をRLCTについて導出し、それが既に知られていた上界と一致することを示し、正確な値を証明する。
• 次元が1とそれ以上の場合を区別し、一般化誤差展開における異なる漸近的係数を導出する。

実験結果

リサーチクエスチョン

• RQ1 真の成分数 $H^* > 1$ のポアソン混合モデルにおける実対数正則臨界閾値（RLCT）の正確な値は何か？
• RQ2 ポアソン混合モデルのRLCTは、単体バーデルモンド行列型特異性の代数的構造とどのように関係するか？
• RQ3 1次元および高次元の両設定において、ポアソン混合モデルの漸近的ベイズ一般化誤差を正確に特徴づけることができるか？
• RQ4 ポアソン混合モデルの一般化誤差展開は、他の特異モデルと同様の形をとるか？その正確な係数は何か？
• RQ5 ポアソン混合モデルのRLCTに対する既存の上界はタイトであるか？代数幾何学的手法を用いて正確な値であることを証明できるか？

主な発見

• 真の成分数が $H^*$ のポアソン混合モデルのRLCTは、1次元では正確に $\frac{3r + H - 2}{4}$ に等しい。ここで $r = H^*$ である。
• 次元が1より大きい場合、RLCTは正確に $\frac{Mr + H - 1}{2}$ に等しい。ここで $M$ は観測空間の次元、$H$ は全成分数である。
• 1次元では漸近的ベイズ一般化誤差が $\mathbb{E}[G_n] = L(w_0) + \frac{3r + H - 2}{4n} + o(1/n)$ に等しい。
• $M > 1$ の場合、一般化誤差は $\mathbb{E}[G_n] = L(w_0) + \frac{Mr + H - 1}{2n} + o(1/n)$ に等しく、$M$ および $r$ に依存することを確認した。
• ポアソン混合モデルのRLCTは、単体バーデルモンド行列型特異性のそれと同一であり、深い代数的同値性を確立した。
• 局所的下界が既知の上界と一致することを証明することで、正確なRLCT値が導出された。