[論文レビュー] Beyond normality: Learning sparse probabilistic graphical models in the non-Gaussian setting

Rebecca Morrison, Ricardo Baptista+1 more|arXiv (Cornell University)|Nov 2, 2017

Gaussian Processes and Bayesian Inference参考文献 25被引用数 11

ひとこと要約

この論文では、多項式展開を用いた輸送写像を活用することで、非ガウス連続分布におけるスパースな確率的グラフィカルモデルを学習するための新規アルゴリズムSINGを提案する。輸送写像のスパarsityを活用して条件付き独立性を同定することで、ガウス仮定が成り立たない状況下でも、従来のGLASSOなどの標準的手法よりも優れた性能を示し、合成データおよびファイナンシャルデータの例において、非ガウス設定下で真のグラフィカル構造を正確に回復できる。

ABSTRACT

We present an algorithm to identify sparse dependence structure in continuous and non-Gaussian probability distributions, given a corresponding set of data. The conditional independence structure of an arbitrary distribution can be represented as an undirected graph (or Markov random field), but most algorithms for learning this structure are restricted to the discrete or Gaussian cases. Our new approach allows for more realistic and accurate descriptions of the distribution in question, and in turn better estimates of its sparse Markov structure. Sparsity in the graph is of interest as it can accelerate inference, improve sampling methods, and reveal important dependencies between variables. The algorithm relies on exploiting the connection between the sparsity of the graph and the sparsity of transport maps, which deterministically couple one probability measure to another.

研究の動機と目的

• 従来のグラフィカルモデル学習アルゴリズムがガウス分布または離散分布に限定されているという限界を解決すること。
• 連続的で非ガウス的な分布におけるスパースなマークフ・ランダムフィールドを一貫して回復する手法を開発すること。
• 正規性やパラメトリックなコーパラ形式を仮定せずに、条件付き独立構造を正確に同定できること。
• 輸送写像のスパarsityをグラフィカルモデルのスパarsityの代理として活用し、推定の効率性と正確性を向上させること。
• 衛星雲画像や確率的ボラティリティモデルなどの実世界データにおいて、本手法の頑健性を示すこと。

提案手法

• 未知の密度πを、標準正規分布をデータ分布に写像する輸送写像で表現する。
• 多項式展開の次数βを用いて輸送写像をパrameter化し、β=1は線形（ガウス）写像に対応し、β>1では非ガウスモデルが可能になる。
• log πの混合偏微分の期待絶対値を用いて一般化精度行列Ωを計算し、Ω_jk = 0 であれば条件付き独立性が成立する。
• Ωのエントリをしきい値処理することでスパarsityを特定し、条件付き独立性に対応するグラフの辺を同定する。
• 現在のグラフ構造を用いて輸送写像の推定値を反復的に改善し、フィードバックによって精度を向上させる。
• スパarsityを活用して計算コストを削減するため、凸最適化を用いて輸送写像を効率的に推定する。

実験結果

リサーチクエスチョン

• RQ1 従来のガウス手法が失敗する非ガウス連続分布において、輸送写像を用いてスパースなグラフィカルモデルを回復できるか？
• RQ2 輸送写像のスパarsityは、元の分布の条件付き独立構造とどのように関係するか？
• RQ3 非ガウスグラフィカルモデルにおいて弱いエッジを信頼性を持って検出するために必要な最小サンプル数はどれくらいか？
• RQ4 輸送写像における多項式次数βの選択が、グラフ回復の正確性にどのように影響するか？
• RQ5 複雑な依存構造を示す非ガウスデータに対して、SINGはGLASSOのような標準的なガウスベース手法を上回ることができるか？

主な発見

• 10変数の合成非ガウス例において、SINGは2回の反復で誤ったエッジを是正し、正しいグラフィカル構造を回復した。一方、線形写像（β=1）は完全に失敗した。
• n=15,000のサンプルで、β=2を用いたSINGは真の確率的ボラティリティモデルのグラフを回復し、状態変数とハイパーパrameter間のエッジを正しく同定した。一方、β=1およびGLASSOは誤ったグラフを生成し、誤ったエッジや欠落エッジを含んでいた。
• 一般化精度行列Ωにおける強いエッジは、n=2,000のサンプルでも回復可能であり、高重量依存性に対して本手法の効率性が示された。
• SINGで計算された一般化精度行列Ωは、真の条件付き独立構造を正確に反映しており、最大値1にスケーリングされたエントリでは、強いエッジと弱いエッジの明確な区別がなされていた。
• GLASSOはガウス性を仮定しているため、確率的ボラティリティモデルにおいて状態変数間のエッジを過剰に推定し、ハイパーパrameterへの接続を過小評価していた。これはモデルの誤指定のリスクを浮き彫りにした。
• 現在のグラフ構造を用いて輸送写像を反復的に改善することで、正しいスパースグラフに収束し、アルゴリズムの一貫性と頑健性が確認された。