[論文レビュー] A structural model on a hypercube represented by optimal transport

Tomonari Sei|ArXiv.org|Jan 29, 2009

Markov Chains and Monte Carlo Methods参考文献 16被引用数 3

ひとこと要約

本稿では、フーリエ級数で表現されるポテンシャル関数を介した最適輸送に基づく、ハイパーキューブ [0,1]^m 上の高次元データを対象とした柔軟な統計モデル、構造勾配モデル（SGM）を提案する。このモデルは、高次相互作用や不等分散性を含む複雑な依存構造を捉えることができ、最尤推定は行列式最大化とlasso型正則化を用いて解け、シミュレーションおよび実データ解析において、グラフィカルガウスモデルや混合モデルを凌駕する性能を示す。

ABSTRACT

We propose a flexible statistical model for high-dimensional quantitative data on a hypercube. Our model, called the structural gradient model (SGM), is based on a one-to-one map on the hypercube that is a solution for an optimal transport problem. As we show with many examples, SGM can describe various dependence structures including correlation and heteroscedasticity. The maximum likelihood estimation of SGM is effectively solved by the determinant-maximization programming. In particular, a lasso-type estimation is available by adding constraints. SGM is compared with graphical Gaussian models and mixture models.

研究の動機と目的

• ハイパーキューブ [0,1]^m 上の高次元定量的データを対象とし、2次モーメントを超える複雑な依存構造を捉える柔軟な統計モデルの開発。
• グラフィカルガウスモデルが不等分散性や高次相互作用を表現できないという限界を克服するため、最適輸送理論に基づく輸送ベースのモデルを導入。
• 凸制約を伴う行列式最大化を通じて、効率的な最尤推定を可能にする。特に、L1正則化領域を用いたL1保守的領域によるlasso型推定量の導出。
• モデル適合度と変数選択性能の観点から、SGMをグラフィカルガウスモデルおよび混合モデルと実験的に比較すること。

提案手法

• モデルは、[0,1]^m 上で p(x|θ) = det(D²ψ(x|θ)) で定義され、ψ は凸ポテンシャル関数である。
• ポテンシャル関数 ψ(x|θ) はフーリエ係数 θ_u でパラメータ化され、Hessian 行列 D²ψ(x|θ) は妥当な θ に対して半正定値行列を形成する。
• 妥当なパrameter空間 Θ は、すべての x ∈ [0,1]^m に対して D²ψ(x|θ) ⪰ 0 を満たす条件で定義され、これにより p(x|θ) が有効な確率密度関数であることが保証される。
• 最尤推定は、凸な妥当領域上での行列式最大化問題に再定式化され、内点法によって解ける。
• 無限次元制約集合に対処するため、内部近似の系列とL1保守的領域の導入が提案され、実用的な計算が可能になる。
• L1制約を行列式最大化に追加することで、lasso型推定量が導出され、フーリエ係数のスパarsity推定と変数選択が可能になる。

実験結果

リサーチクエスチョン

• RQ1 輸送ベースのモデルは、ハイパーキューブ上において、グラフィカルガウスモデルが表現できない高次相互作用や不等分散性を効果的に捉えることができるか？
• RQ2 無限個の制約を持つヘッセ行列の行列式で定義されるモデルに対して、最尤推定をどのように効率的に実行できるか？
• RQ3 このモデルに対して、変数選択と高次元設定におけるスパarsityを可能にするlasso型推定量を構築できるか？
• RQ4 モデル適合度と構造回復性能の観点から、SGMはグラフィカルガウスモデルおよび混合モデルに比べて性能に優れているか？

主な発見

• SGMモデルは、グラフィカルガウスモデルが表現できない高次相互作用や不等分散性を含む複雑な依存構造を効果的に捉えることができる。
• 行列式最大化による最尤推定は、凸最適化技術によって収束保証が得られ、効果的に解ける。
• L1制約を導入することでlasso型推定量が導出され、フーリエ係数のスパース推定と変数選択が可能になる。
• データ変換に対してロバストである。実数値データはシグモイド関数を用いて [0,1]^m に写像可能であり、一様周辺分布を仮定する必要がない。
• 数値実験の結果、シミュレーションおよび実データの両方において、複雑な依存構造の適合において、SGMはグラフィカルガウスモデルおよび混合モデルを上回る性能を示す。
• 理論的保証が提供されており、任意の [0,1]^m 上の確率密度は、最適輸送を介して det(D²ψ(x)) の形に表現可能であり、ψ は凸かつ Dψ は全単射である。