[論文レビュー] Penalized maximum likelihood estimation for generalized linear point processes

Niels Richard Hansen|arXiv (Cornell University)|Mar 3, 2010

Point processes and geometric inequalities参考文献 34被引用数 3

ひとこと要約

この論文は、Sobolev空間に属する関数的予測子を伴う一般化線形点過程の罰則付き最尤推定フレームワークを構築し、Gâteaux微分可能性と再生核ヒルベルト空間理論を活用する。特殊な場合において、罰則付き推定量が有限次元のスプラインに類似した空間に存在することを確立し、無限次元Sobolev空間における勾配フローを用いた勾配降下アルゴリズムを提案する。収束保証が得られ、神経パルス列とゲノム分野への応用が可能である。

ABSTRACT

A generalized linear point process is specified in terms of an intensity that depends upon a linear predictor process through a fixed non-linear function. We present a framework where the linear predictor is parametrized by a Banach space and give results on Gateaux differentiability of the log-likelihood. Of particular interest is when the intensity is expressed in terms of a linear filter parametrized by a Sobolev space. Using that the Sobolev spaces are reproducing kernel Hilbert spaces we derive results on the representation of the penalized maximum likelihood estimator in a special case and the gradient of the negative log-likelihood in general. The latter is used to develop a descent algorithm in the Sobolev space. We conclude the paper by extensions to multivariate and additive model specifications. The methods are implemented in the R-package ppstat.

研究の動機と目的

• Banach空間における関数的予測子を伴う一般化線形点過程の罰則付き最尤推定の理論的枠組みを構築すること。
• Sobolev空間にパrameter化された強度関数に対する対数尤度のGâteaux微分可能性を確立すること。
• 特殊な場合において、罰則付き最尤推定量の有限次元表現を導出し、平滑化スプラインに類似した構造を得ること。
• 負の対数尤度の勾配を用いた無限次元Sobolev空間における勾配降下アルゴリズムを提案すること。
• 神経科学およびゲノム分野の応用を想定し、多次元および加法的点過程モデルへのフレームワークの拡張を行うこと。

提案手法

• 点過程の線形予測子を、Sobolev空間および再生核ヒルベルト空間の要素としてパラメータライズする。
• Gâteaux微分を用いて、Sobolev空間における負の対数尤度汎関数の勾配を導出する。
• 予測子と計数過程に関する確率積分を用いて、対数尤度およびその勾配を連続線形汎関数として表現する。
• 弱コンパクト性および弱連続性の仮定の下で、勾配ノルムがゼロに収束することを示すことにより、勾配降下アルゴリズムの収束を確立する。
• Sobolev空間の再生核性を活用し、特殊な場合において罰則付き最尤推定量を明示的な基底関数が張る有限次元部分空間に表現する。
• アルゴリズムを有限次元近似の逐次的列として実装し、弱位相における真の解への収束を示す。

実験結果

リサーチクエスチョン

• RQ1 Sobolev空間における関数的予測子を伴う一般化線形点過程に対して、罰則付き最尤推定を厳密に定式化できるか？
• RQ2 罰則付き最尤推定量が有限次元部分空間に存在する条件は何か？その場合の基底関数の構造はいかなるものか？
• RQ3 無限次元Sobolev空間における負の対数尤度の勾配は、どのように表現され、計算可能か？
• RQ4 この非パラメトリック点過程モデルのクラスに対して、勾配降下アルゴリズムを構築し、収束性を保証できるか？
• RQ5 この枠組みにおける罰則付き最尤推定量に対して、どのような理論的保証（収束性、有界性など）を確立できるか？

主な発見

• 特殊な場合において、罰則付き最尤推定量は明示的に定義された基底関数が張る有限次元部分空間に存在し、平滑化スプラインに類似した性質を示す。
• Sobolev空間における有界集合上で、負の対数尤度は下から有界であり、最小化子の存在を保証する。
• 負の対数尤度の勾配は、逐次的弱-弱連続性を満たし、反復的アルゴリズムの収束解析を支援する。
• パrameter空間の有界性および弱コンパクト性のおかげで、勾配ステップに基づく勾配降下アルゴリズムは弱収束により真の最小化子に収束する。
• 再生核ヒルベルト空間における弱収束は、推定された強度関数の点ごとの収束を意味する。
• このフレームワークは多次元および加法的モデルへの拡張を可能とし、神経パルス列やゲノム的レギュラトリ要素などの複雑な点過程データへの応用を可能にする。