[論文レビュー] Geometry of Log-Concave Density Estimation

Elina Robeva, Bernd Sturmfels+1 more|arXiv (Cornell University)|Apr 6, 2017

Topological and Geometric Data Analysis参考文献 9被引用数 4

ひとこと要約

本稿では、非パラメトリック統計と幾何的組合せ論の間に幾何的関係を確立し、$ℝ^d$ 内の点配置の任意の正則な多面体分割が、ある正の重みベクトルに対し最適な対数凹関数密度推定器として現れることを証明する。著者らは、二次的多面体の連続的類似物であるサムワース体を導入し、各分割をもたらす重みの空間を特徴付ける。これにより、重み空間上で一様にサンプリングする際、粗い分割の方が細かい分割よりも統計的に尤もらしいことが示された。

ABSTRACT

Shape-constrained density estimation is an important topic in mathematical statistics. We focus on densities on $\mathbb{R}^d$ that are log-concave, and we study geometric properties of the maximum likelihood estimator (MLE) for weighted samples. Cule, Samworth, and Stewart showed that the logarithm of the optimal log-concave density is piecewise linear and supported on a regular subdivision of the samples. This defines a map from the space of weights to the set of regular subdivisions of the samples, i.e. the face poset of their secondary polytope. We prove that this map is surjective. In fact, every regular subdivision arises in the MLE for some set of weights with positive probability, but coarser subdivisions appear to be more likely to arise than finer ones. To quantify these results, we introduce a continuous version of the secondary polytope, whose dual we name the Samworth body. This article establishes a new link between geometric combinatorics and nonparametric statistics, and it suggests numerous open problems.

研究の動機と目的

• 対数凹関数密度の最尤推定と正則な多面体分割の理論との間の厳密な関係を確立すること。
• 点配置 $\mathbb{R}^d$ 内の任意の正則な分割が、ある正の重みベクトルに対し最適な対数凹関数密度推定器として現れることを証明すること。
• サムワース体—二次的多面体の連続的類似物—を導入し、その幾何的対象として、重み空間における最適分割の分布を記述すること。
• 重み単体上で一様にサンプリングする際、異なる分割が観測される確率が分割の複雑さにどのように依存するかを定量化すること。粗い分割の方が細かい分割よりも尤もらしいことを示した。

提案手法

• 著者らは、キュール、サムワース、ステュワートの結果を一般化し、対数凹関数密度の最尤推定問題において任意の正の重みを許容する。
• 彼らは、与えられた正則な分割をもたらす可能な重みベクトルに対応する $ℝ^n$ の凸集合としてサムワース体 $ℝ(X)$ を定義する。
• ラグランジュ乗数法と体積積分を用いて、サムワース体の双対を介して、対数尤度問題の制約なし最適化形式を導出する。
• 任意の与えられた分割を実現する明示的な重みベクトルを構成することで、重みベクトルから正則な分割への写像の上への性質を証明する。
• 二次的多面体の連続的バージョンを導入し、重み空間上の一様サンプリングにおける分割の確率分布をモデル化する。
• 体積と指数関数の恒等式を明示的に用いて、$ℝ^d$ 内の $d+2$ 個の点の臨界的配置を分析し、対称的重みのもとでも非自明な分割が生じ得ることを示した。

実験結果

リサーチクエスチョン

• RQ1 $ℝ^d$ 内の点配置の任意の正則な多面体分割が、ある正の重みベクトルに対し最適な対数凹関数密度推定器として実現可能か？
• RQ2 ある正則な分割をもたらす重みベクトルの集合の幾何的構造は何か？
• RQ3 重み単体上で一様にサンプリングする際、特定の分割が観測される確率は、分割の複雑さにどのように依存するか？
• RQ4 与えられた数 $c$ の細胞が単位重みで現れるような、$ℝ^d$ 内の点の最小数 $n$ は何か？
• RQ5 どの単体的多面体が、単位重みを用いた $ℝ^d$ 内の点配置の正則な分割として実現可能か？

主な発見

• 点配置 $X \subset \mathbb{R}^d$ の任意の正則な多面体分割は、ある正の重みベクトル $w \in \mathbb{R}^n_{>0}$ に対し最適な対数凹関数密度推定器として現れることを示し、重みから分割への写像の上への性質を証明した。
• サムワース体 $ℝ(X)$ は $ℝ^n$ 内の凸体であり、ある正則な分割をもたらす重みベクトルの集合をパrameter化する。その双対は、二次的多面体の連続的一般化を提供する。
• $d \geq 2$ に対して、単位重みを用いた $ℝ^d$ 内の $d+3$ 個の点の配置が存在し、非自明（非平坦）な分割をもたらす。これは、対称的重みのもとでも複雑な構造が出現しうることを示している。
• 重み単体上で一様にサンプリングする際、粗い分割が観測される確率は、細かい分割よりも高い。これは、単純な構造が統計的に優位である傾向があることを示唆している。
• $ℝ^d$ 内の $d+2$ 個の点の特定の配置に対して、最適な分割は、最後の点の重みが残り各点の重みの $rac{d+1}{d}$ 倍を超える場合に限り、最初の $d+1$ 個の点を順に省いた三角形分割となる。
• 本稿では、最適な分割が自明であるような配置の集合が、配置空間において閉じていることを証明した。これは、点集合の微小な摂動に対しても非自明な分割が一般に生じることを意味する。