[論文レビュー] Inference with Multivariate Heavy-Tails in Linear Models

Danny Bickson, Carlos Guestrin|arXiv (Cornell University)|Aug 31, 2010

Bayesian Methods and Mixture Models被引用数 9

ひとこと要約

本稿では、特性関数（cf）ドメインにおける線形多変量モデルの正確かつ近似推論を可能にする、新しい確率的グラフィカルモデル「線形特徴関数モデル」（LCM）を提案する。安定分布（ガウス分布、コーシー分布、レヴィ分布の一般化）を用いることで、従来の手法が限界に達する重たい尾を持つ分布に対しても、閉形式での推論が可能となり、これは以前は不可能とされていた。実際のネットワークトモグラフィーのデータ（PlanetLabから取得）を用いた応用例も示している。

ABSTRACT

Heavy-tailed distributions naturally occur in many real life problems. Unfortunately, it is typically not possible to compute inference in closed-form in graphical models which involve such heavy-tailed distributions. In this work, we propose a novel simple linear graphical model for independent latent random variables, called linear characteristic model (LCM), defined in the characteristic function domain. Using stable distributions, a heavy-tailed family of distributions which is a generalization of Cauchy, Lévy and Gaussian distributions, we show for the first time, how to compute both exact and approximate inference in such a linear multivariate graphical model. LCMs are not limited to stable distributions, in fact LCMs are always defined for any random variables (discrete, continuous or a mixture of both). We provide a realistic problem from the field of computer networks to demonstrate the applicability of our construction. Other potential application is iterative decoding of linear channels with non-Gaussian noise.

研究の動機と目的

• コンピュータネットワークのような実世界のシステムで一般的に見られる重たい尾を持つ分布を含む線形グラフィカルモデルにおける正確および近似推論を実現すること。
• 混合モデル、スペクトル分解、コピュラなどの従来手法が、安定分布や重たい尾を持つ分布を取り扱う際に失敗または計算不能となる限界を克服すること。
• 指数型分布族に制限されない、任意の確率変数（離散的、連続的、混合型）に対して定義可能な汎用的グラフィカルモデルを構築すること。
• ガウス分布のケースを超えて、確率的グラフィカルモデルの適用範囲を拡張するべく、安定分布を含むモデルにおけるベイズ推論（信念伝播型）を可能にすること。
• PlanetLabネットワークからの実際のネットワークトラフィックデータを用いて、提案手法の実用的有用性を検証し、現実的な環境下での高精度な推論を示すこと。

提案手法

• 特性関数（cf）ドメインにおける要因の積として定義される線形グラフィカルモデル「線形特徴関数モデル」（LCM）を提案。任意の確率変数に対する推論を可能にする。
• ガウス分布、コーシー分布、レヴィ分布を特別ケースとして含む、安定分布（α：特徴関数指数、β：歪度、γ：スケール、δ：位置）を、重たい尾を持つ分布の基本的族として採用。
• 結合確率分布を特徴関数ドメインに変換し、独立な確率変数の線形結合がそれぞれの特徴関数の積に対応することを活用して推論を実行。
• 特徴関数ドメインにおいて信念伝播手法を適用し、周辺分布の計算を可能にすることで、正確および近似推論アルゴリズムの両方を実現。
• 特に安定分布の文脈において、推論アルゴリズムの収束性および精度に関する保証を導出。
• 実際のネットワークトモグラフィーのデータ（PlanetLabネットワークから取得）を用いて手法を検証。ネットワークフロー分布が安定分布と強く一致し、推論が高精度かつ効率的であることを示した。

実験結果

リサーチクエスチョン

• RQ1 通常は閉形式解が計算不能となる重たい尾を持つ分布（例：安定分布）を含む線形多変量モデルにおいて、正確および近似推論を実現できるか？
• RQ2 離散的、連続的、混合型の任意の確率変数に対して普遍的に適用可能な確率的グラフィカルモデルを構築するには、特定の分布形態の仮定を必要としない方法とは何か？
• RQ3 特徴関数ドメインが、従来の手法（コピュラやCDFベース手法）が失敗するような安定分布の推論を可能にする役割は何か？
• RQ4 ネットワーク監視の文脈において、混合モデル、スケッチ法、スペクトル法などの既存の近似手法と比較して、提案されたLCM手法の精度および収束性はどのように異なるか？
• RQ5 LCMフレームワークは、PlanetLabのトラフィック測定データのような実世界のネットワークデータに、効果的に適用可能か？ 重たい尾を持つフロー行動のモデリングと推論が可能か？

主な発見

• 線形特徴関数モデル（LCM）は、特徴関数ドメインで動作することで、安定分布を含む線形多変量モデルにおける正確な推論を可能にし、通常の確率分布ドメインでは計算不能となる閉形式解の困難さを克服した。
• すべての確率変数は明確な特徴関数を持つため、LCMは離散的、連続的、混合型の任意の確率変数に対して常に定義可能であり、普遍的である。
• コーシー分布、レヴィ分布、ガウス分布を特別ケースとして含む安定分布は、LCMフレームワークにおいて自然に扱えるため、重たい尾と軽い尾の両方の挙動を統一的に扱える。
• 本稿では、PlanetLabネットワークからのネットワークフロー・データが安定分布と強く一致することを示し、モデルの実世界的妥当性を裏付けた。
• LCMフレームワークは、収束性および精度の保証付きで正確および近似推論アルゴリズムをサポートし、重たい尾を持つノイズを含む状況で、従来の近似手法を上回る性能を示した。
• 実データを用いた実証的評価により、LCMは潜在変数および周辺分布を高精度に推論できることを確認し、ネットワーク監視および異常検知における実用的有用性を裏付けた。