[論文レビュー] The Multiple Quantile Graphical Model

Alnur Ali, J. Zico Kolter+1 more|arXiv (Cornell University)|Jul 2, 2016

Bayesian Modeling and Causal Inference被引用数 9

ひとこと要約

Multiple Quantile Graphical Model (MQGM) は、1つの変数の複数の条件付き分位数を他の変数のスパース関数としてモデル化することにより、ネイバー選択を拡張し、異分散性や非正規分布を示すグラフィカルモデルの柔軟で非パラメトリック推定を可能にする。正則性条件下では、正規分布の仮定を外しても、条件付き独立性を一貫して回復可能であり、効率的な ADMM を用いたアルゴリズムと、潜在的な連合分布からのサンプリング戦略を備える。

ABSTRACT

We introduce the Multiple Quantile Graphical Model (MQGM), which extends the neighborhood selection approach of Meinshausen and Buhlmann for learning sparse graphical models. The latter is defined by the basic subproblem of modeling the conditional mean of one variable as a sparse function of all others. Our approach models a set of conditional quantiles of one variable as a sparse function of all others, and hence offers a much richer, more expressive class of conditional distribution estimates. We establish that, under suitable regularity conditions, the MQGM identifies the exact conditional independencies with probability tending to one as the problem size grows, even outside of the usual homoskedastic Gaussian data model. We develop an efficient algorithm for fitting the MQGM using the alternating direction method of multipliers. We also describe a strategy for sampling from the joint distribution that underlies the MQGM estimate. Lastly, we present detailed experiments that demonstrate the flexibility and effectiveness of the MQGM in modeling hetereoskedastic non-Gaussian data.

研究の動機と目的

• 正規分布の仮定を越える柔軟で非パラメトリックなアプローチを、スパースグラフィカルモデルの学習に開発すること。
• 各変数の複数の条件付き分位数を他の変数のスパース関数としてモデル化し、より豊かな依存構造を捉えること。
• 一般の正則性条件下（異分散性や非正規分布を含む）で、構造回復の理論的一貫性を確立すること。
• 交替方向乗数法（ADMM）を用いた MQGM のフィッティングに効率的なアルゴリズムを提供すること。
• 下流の推論に役立てるために、MQGM推定値が示す連合分布からのデータ生成のためのサンプリング戦略を可能にすること。

提案手法

• MQGM は、lasso 正則化を用いて、他のすべての変数に対する複数の分位数回帰（例：τ = 0.1, 0.3, 0.5, 0.7, 0.9）を各変数の条件付き分布にフィットすることで、条件付き分布をモデル化する。
• この手法は擬似尤度フレームワークを用い、複数の分位数回帰で推定された条件付き分布の積として、連合分布を近似する。
• 複数の分位数回帰のサブ問題から生じる大規模かつスパースな最適化問題を効率的に解くために、ADMM を基盤とする最適化アルゴリズムを開発した。
• 高次元設定（d ≫ n）を扱うために、m 個の分位数を持つ d × m 個のサブ問題を解き、それぞれがスパースな予測子集合を持つ。
• 推定された連合分布からのデータ生成のためのサンプリング戦略を提案した。
• 外生変数 x を回帰に組み込むことで、y を x に関して回帰する条件付きグラフィカルモデルにこの手法を拡張した。

実験結果

リサーチクエスチョン

• RQ1 平均に基づくモデルを越えて、複雑で非正規的かつ異分散的な条件付き依存関係を捉えるグラフィカルモデルを構築できるか？
• RQ2 複数の条件付き分位数をモデル化することで、一般のデータ分布下でも真の条件付き独立構造を一貫して回復できるか？
• RQ3 MQGM は、GLasso や MB や SpaceJam といった既存手法と比較して、非正規分布および異分散性を持つデータのモデリングにおいて優れているか？
• RQ4 MQGM は、d ≫ n かつ多数の分位数を持つ高次元設定に効率的にスケーリングできるか？
• RQ5 MQGM フレームワークは、風力発電予測やインフルエンザ流行モデリングといった実世界の応用に適しているか？

主な発見

• 適切な正則性条件下では、MQGM は非正規分布や異分散性の設定下でも、真の条件付き独立構造を確率1に近づけて一貫して回復する。
• リング分布を用いた実験では、MB や GLasso や SpaceJam と比較して、MQGM は合計変動距離（TV）およびコルモゴロフ・スミルノフ距離（KS）が顕著に低く、条件付き累積分布関数（CDF）推定の優位性を示した。
• 米国インフルエンザ発生率データでは、MQGM が地域間で変動する時間的・地域的分散の異分散性を捉えた。
• 風力発電予測の応用では、MQGM が時間的依存性（例：時刻間の相関）および発電所間の依存性を的確に特定し、非ゼロの非対角ブロックが発電所間の影響を示した。
• ADMM アルゴリズムは効率的にスケーリングされ、336 変数、5 分位数、3,417 個の外生変数を持つ問題で、各サブ問題の解法に約 87 分を要した。
• MQGM の条件付き分布は視覚的に直感的であった（例：特定のビンでは二峰性）が、対照的に、他の手法は過剰に正規分布に近い密度を生成し、MQGM が複雑で非楕円型の依存関係をモデル化できる能力を示した。