[논문 리뷰] Penalized maximum likelihood estimation for generalized linear point processes

Niels Richard Hansen|arXiv (Cornell University)|2010. 03. 03.

Point processes and geometric inequalities참고 문헌 34인용 수 3

한 줄 요약

이 논문은 소벨 공간에 있는 기능적 예측 변수를 가진 일반선형 점과정에 대해 페널티 최대우도추정 프레임워크를 개발한다. 이는 가타우흐 미분 가능성과 반복핵 힐버트 공간 이론을 활용한다. 특수한 경우에 페널티 추정치가 유한차원 스퍼링 유사 공간에 존재한다는 것을 입증하고, 무한차원 소벨 공간에서 경사 하강법을 통한 내림내림 알고리즘을 제안하며 수렴 보장과 함께 신경 시냅스 펄스 및 유전체학 응용을 포함한다.

ABSTRACT

A generalized linear point process is specified in terms of an intensity that depends upon a linear predictor process through a fixed non-linear function. We present a framework where the linear predictor is parametrized by a Banach space and give results on Gateaux differentiability of the log-likelihood. Of particular interest is when the intensity is expressed in terms of a linear filter parametrized by a Sobolev space. Using that the Sobolev spaces are reproducing kernel Hilbert spaces we derive results on the representation of the penalized maximum likelihood estimator in a special case and the gradient of the negative log-likelihood in general. The latter is used to develop a descent algorithm in the Sobolev space. We conclude the paper by extensions to multivariate and additive model specifications. The methods are implemented in the R-package ppstat.

연구 동기 및 목표

• Banach 공간에서 기능적 예측 변수를 가진 일반선형 점과정에 대한 페널티 최대우도추정 이론적 프레임워크를 개발하기 위해.
• 소벨 공간으로 매개변수화된 강도 함수에 대해 로그우도의 가타우흐 미분 가능성을 확립하기 위해.
• 특수한 경우에 페널티 최대우도추정치의 유한차원 표현을 도출하여 스무딩 스퍼링과 유사하게 만들기 위해.
• 무한차원 소벨 공간에서 음의 로그우도의 기울기를 사용한 경사 하강 알고리즘을 제안하기 위해.
• 신경과학 및 유전체학 응용을 위해 다변량 및 가산 점과정 모델 확장 가능성을 확보하기 위해.

제안 방법

• 점과정 강도의 선형 예측 변수를 소벨 공간, 즉 반복핵 힐버트 공간의 원소로 매개변수화하기 위해.
• 소벨 공간에서 음의 로그우도 기능의 기울기를 도출하기 위해 가타우흐 미분을 사용하기 위해.
• 예측 변수를 계수 과정에 대해 스트로나틱 적분함수로 표현함으로써 로그우도와 그 기울기를 연속 선형 함수형으로 표현하기 위해.
• 약한 컴act성과 약한 연속성 가정 하에 기울기 노름이 0으로 수렴함을 증명함으로써 내림내림 알고리즘의 수렴성을 확립하기 위해.
• 소벨 공간의 반복핵 성질을 활용하여 특수한 경우에 페널티 최대우도추정치를 명시적인 기저 함수들이 생성하는 유한차원 부분공간에 표현하기 위해.
• 유한차원 근사의 반복 시퀀스로 알고리즘을 구현하며, 약한 위상에서 진짜 해로 수렴함을 보장하기 위해.

실험 결과

연구 질문

• RQ1 소벨 공간에서 기능적 예측 변수를 가진 일반선형 점과정에 대해 페널티 최대우도추정이 엄밀하게 정의될 수 있는가?
• RQ2 페널티 최대우도추정치가 유한차원 부분공간에 존재하는 조건은 무엇이며, 이러한 경우 기저 함수의 구조는 어떻게 되는가?
• RQ3 무한차원 소벨 공간에서 음의 로그우도 기울기는 어떻게 표현하고 계산할 수 있는가?
• RQ4 이러한 비모수적 점과정 모델에 대해 내림내림 알고리즘을 구성하고 수렴성을 증명할 수 있는가?
• RQ5 이 프레임워크에서 페널티 최대우도추정치에 대해 어떤 이론적 보장(예: 수렴성, 유계성)을 확보할 수 있는가?

주요 결과

• 특수한 경우에 페널티 최대우도추정치는 명시적으로 정의된 기저 함수들이 생성하는 유한차원 부분공간에 존재하며, 스무딩 스퍼링과 유사하다.
• 소벨 공간의 유계 집합에서 음의 로그우도는 아래로 유계이며, 최소화자가 존재함을 보장한다.
• 음의 로그우도의 기울기는 순차적 약한-약한 연속성을 가지며, 반복 알고리즘의 수렴 분석을 지원한다.
• 매개변수 공간의 유계성과 약한 컴팩트성 덕분에 기울기 단계 기반 내림내림 알고리즘이 약한 수렴을 통해 진짜 최소화자로 수렴한다.
• 반복핵 힐버트 공간에서의 약한 수렴은 추정된 강도 함수의 점별 수렴을 암시한다.
• 이 프레임워크는 다변량 및 가산 모델로 확장 가능하여 신경 시냅스 펄스 및 유전체 조절 요소와 같은 복잡한 점과정 데이터 응용을 가능하게 한다.