[論文レビュー] Lipschitz Parametrization of Probabilistic Graphical Models

Jean Honorio|arXiv (Cornell University)|Feb 14, 2012

Bayesian Modeling and Causal Inference参考文献 11被引用数 4

ひとこと要約

本論文は、さまざまな確率的グラフィカルモデルの対数尤度が、そのパラメータのlpノルムに関してリプシッツ連続であることを確立する。KLダイバージェンス、ベイズ誤り率、一般化誤差の理論的上限を導出し、lpノルム正則化が学習を正則化することを示し、クラスタリングや分類などのメトリックベースのアルゴリズムにおけるパラメータの特徴量としての使用を正当化する。

ABSTRACT

We show that the log-likelihood of several probabilistic graphical models is Lipschitz continuous with respect to the lp-norm of the parameters. We discuss several implications of Lipschitz parametrization. We present an upper bound of the Kullback-Leibler divergence that allows understanding methods that penalize the lp-norm of differences of parameters as the minimization of that upper bound. The expected log-likelihood is lower bounded by the negative lp-norm, which allows understanding the generalization ability of probabilistic models. The exponential of the negative lp-norm is involved in the lower bound of the Bayes error rate, which shows that it is reasonable to use parameters as features in algorithms that rely on metric spaces (e.g. classification, dimensionality reduction, clustering). Our results do not rely on specific algorithms for learning the structure or parameters. We show preliminary results for activity recognition and temporal segmentation.

研究の動機と目的

• 確率的グラフィカルモデルの対数尤度がパラメータノルムに関してリプシッツ連続となる理論的条件を確立すること。
• パラメータ推定におけるlpノルム正則化の使用を正当化するため、KLダイバージェンスの上界を導出すること。
• 一般化誤差とベイズ誤り率の下限に、パラメータの負のlpノルムを関連付けること。
• クラスタリングや分類などのメトリック空間アルゴリズムにおけるモデルパラメータを特徴量として使用する理論的基盤を提供すること。
• アクティビティ認識と時系列セグメンテーションにおける予備的実験を通じて、これらの上限の実用的関連性を示すこと。

提案手法

• 若干の正則性条件のもとで、いくつかのPGMの対数尤度がパラメータのlpノルムに関してリプシッツ連続であることを証明すること。
• パラメータ差のlpノルムに基づいて、二つの分布間のKullback-Leiblerダイバージェンスの上界を導出すること。
• 一般化性能に関連付けるために、パラメータの負のlpノルムを用いた期待対数尤度の下界を確立すること。
• ベイズ誤り率の下界に、負のlpノルムの指数関数が現れることを示し、学習アルゴリズムにおけるlpノルムのメトリックとしての使用を支持すること。
• これらの理論的結果をもとに、lpノルム正則化とメトリックベースの学習タスクにおけるパラメータの特徴量としての使用を正当化すること。
• アクティビティ認識と時系列セグメンテーションにおける実験を通じて理論を検証し、提案されたパラメータ化フレームワークの実用的有効性を示すこと。

実験結果

リサーチクエスチョン

• RQ1 確率的グラフィカルモデルの対数尤度が、そのパラメータのlpノルムに関してリプシッツ連続となる条件は何か？
• RQ2 パラメータ差のlpノルムを用いて、二つの分布間のKLダイバージェンスをどのように上界で抑えられるか？
• RQ3 パラメータの負のlpノルムと確率的モデルの一般化誤差の関係は何か？
• RQ4 分類タスクにおけるベイズ誤り率の下界に、負のlpノルムの指数関数がどのように関連するか？
• RQ5 クラスタリングや次元削減などのメトリック空間アルゴリズムにおいて、モデルパラメータを意味的に特徴量として使用できる範囲はどの程度か？

主な発見

• いくつかの確率的グラフィカルモデルの対数尤度は、そのパラメータのlpノルムに関してリプシッツ連続であり、学習安定性の理論的分析を可能にする。
• 二つの分布間のKLダイバージェンスの上界が導出され、それがパラメータ差のlpノルムに依存する。
• 期待対数尤度はパラメータの負のlpノルムによって下界で抑えられ、学習におけるlp正則化の理論的根拠を提供する。
• 負のlpノルムの指数関数が、ベイズ誤り率の下界に現れることで、lpノルムがモデル分離性の測度として使用されることを支持する。
• 理論的フレームワークにより、分類やクラスタリングなどのメトリックベースのアルゴリズムにおけるモデルパラメータの特徴量としての使用が正当化される。
• アクティビティ認識と時系列セグメンテーションにおける予備的実験により、提案されたパラメータ化アプローチの実用的妥当性が示された。