[논문 리뷰] Non parametric finite translation mixtures with dependent regime

Élisabeth Gassiat, Judith Rousseau|arXiv (Cornell University)|2013. 02. 10.

Bayesian Methods and Mixture Models참고 문헌 37인용 수 8

한 줄 요약

이 논문은 비모수적 유한 번역 혼합 모형에 의존적인 잠재 상태를 도입하여, 비특이 전이 행렬 가정 하에 모든 매개변수—성분 수, 번역 매개변수, 연속 잠재 상태의 분포—의 완전한 식별성을 입증한다. 이 모형은 비모수적 성분에 대해 루트 n 일致성, 점근 정규성을 보장하는 추정기와 은행가 불등식을 유도하여 은닉 마르코프 모형에서 비모수 밀도 추정기의 최소최대 적응성(최적 수렴 속도)을 보여준다.

ABSTRACT

In this paper we consider non parametric finite translation mixtures. We prove that all the parameters of the model are identifiable as soon as the matrix that defines the joint distribution of two consecutive latent variables is non singular and the translation parameters are distinct. Under this assumption, we provide a consistent estimator of the number of populations, of the translation parameters and of the distribution of two consecutive latent variables, which we prove to be asymptotically normally distributed under mild dependency assumptions. We propose a non parametric estimator of the unknown translated density. In case the latent variables form a Markov chain (Hidden Markov models), we prove an oracle inequality leading to the fact that this estimator is minimax adaptive over regularity classes of densities.

연구 동기 및 목표

• 잠재 변수가 의존적인 비모수적 유한 혼합 모형에서의 식별성 문제를 다루며, 특히 발산 분포가 알려져 있지 않은 경우를 고려한다.
• 의존적인 잠재 구조에서 성분 수, 번역 매개변수, 전이 행렬에 대한 일致한 추정기를 개발한다.
• 잠재 과정의 약한 혼합 조건 하에서 추정기의 점근 정규성을 확립한다.
• 은닉 마르코프 모형에서 최소최대 적응 속도를 달성하는 비모수 밀도 추정기를 제안한다.
• 시간적 의존성을 통합하고 오차 항의 분포 가정을 완화함으로써 기존 비모수 혼합 결과를 확장한다.

제안 방법

• 모형은 관측값이 $ Y_i = m_{S_i} + \epsilon_i $ 를 만족한다고 가정하며, 여기서 $ (S_i) $ 는 유한 상태 마르코프 체인이고 $ \epsilon_i $ 는 i.i.d. 오차이다.
• 오차 분포 $ F $ 와 무관하게 두 연속 잠재 상태의 공동 전이 행렬 $ Q $ 가 비특이일 경우 식별성이 입증된다.
• 관측값 $ (Y_1, Y_2) $ 의 공동 분포를 이용하여 $ k $, $ m_j $ 들, 그리고 전이 행렬 $ Q $ 에 대한 일치 추정기를 구성한다.
• 잠재 과정의 기하적 에르고디시티 조건 하에서 추정기는 $ \sqrt{n} $-일치성과 점근 정규성을 갖는다.
• 알려진 $ k $ 와 유계 $ m_j $ 조건 하에서 추정기는 $ \sqrt{n} $-스케일에서 서브가우시안 농도를 보인다.
• 은닉 마르코프 모형 설정에서 은행가 불등식이 도출되어 비모수 밀도 추정기가 곡률 클래스에서 최소최대 적응성을 확보함을 보여준다.

실험 결과

연구 질문

• RQ1 비모수적 유한 번역 혼합 모형에서 의존적인 잠재 상태를 갖는 전체 매개변수 집합이 어떤 조건에서 식별 가능한가?
• RQ2 오차 분포의 비모수적 형태를 가정하지 않고도 성분 수, 번역 매개변수, 전이 행렬에 대한 일치하고 점근 정규적인 추정기를 구성할 수 있는가?
• RQ3 제안된 비모수 밀도 추정기는 은닉 마르코프 모형의 맥락에서 최적 수렴 속도를 달성하는가?
• RQ4 잠재 과정의 시간적 의존성이 오차 항에 대한 분포 가정 없이 식별 가능성을 어떻게 보장하는가?
• RQ5 비모수 밀도 추정기의 수렴 속도는 얼마이며, 최소최대 최적성을 달성하는가?

주요 결과

• 전이 행렬 $ Q $ 가 비특이일 경우, 성분 수 $ k $, 번역 매개변수 $ m_1, \ldots, m_k $, 전이 행렬 $ Q $, 오차 분포 $ F $ 등 모든 모형 매개변수가 식별 가능하다.
• 잠재 과정의 약한 의존성 가정 하에서 $ k $, $ m_j $, $ Q $ 의 추정기는 $ \sqrt{n} $-일치성과 점근 정규성을 갖는다.
• $ k $ 와 유계 $ m_j $ 가 알려진 경우, 추정기는 $ \sqrt{n} $-스케일에서 서브가우시안 농도를 보인다.
• 은닉 마르코프 모형 프레임워크에서 비모수 밀도 추정기는 은행가 불등식을 만족하며, 헬더 스무쓰니스 클래스에서 최소최대 적응성을 보여준다.
• 추정기의 점근 분산은 잠재 과정의 혼합 성질에 따라 달라지며, 기하적 에르고디시티 조건 하에서도 수렴 속도가 유지된다.
• 이론적 결과는 경험 과정 기법을 이용한 비점근적 경계를 통해 지지되며, 가능도 비율에 대한 엔트로피 및 브라켓팅 추론이 포함된다.