[논문 리뷰] Posterior convergence rates in non-linear latent variable models

Debdeep Pati, Anirban Bhattacharya외 1명|arXiv (Cornell University)|2011. 09. 23.

Bayesian Methods and Mixture Models참고 문헌 16인용 수 3

한 줄 요약

이 논문은 비선형 잠재변수 모델에서 단변량 밀도 추정에 대해 사후 수축 속도를 확립한다. 여기서 잠재로 균일분포를 가진 변수들이 가우시안 오차가 첨가된 랜덤 비선형 함수를 통해 변환된다. 회귀 함수에 가우시안 프로세스 사전분포를 적용함으로써, 표준 부드러움 조건 하에서 최적의 빈도주의 속도를 로그 인자까지 달성한다. 이는 이전에 이산 혼합모형에 국한되었던 사후 수축 이론을 연속 혼합 측도로 확장한다.

ABSTRACT

Non-linear latent variable models have become increasingly popular in a variety of applications. However, there has been little study on theoretical properties of these models. In this article, we study rates of posterior contraction in univariate density estimation for a class of non-linear latent variable models where unobserved U(0,1) latent variables are related to the response variables via a random non-linear regression with an additive error. Our approach relies on characterizing the space of densities induced by the above model as kernel convolutions with a general class of continuous mixing measures. The literature on posterior rates of contraction in density estimation almost entirely focuses on finite or countably infinite mixture models. We develop approximation results for our class of continuous mixing measures. Using an appropriate Gaussian process prior on the unknown regression function, we obtain the optimal frequentist rate up to a logarithmic factor under standard regularity conditions on the true density.

연구 동기 및 목표

• 비선형 잠재변수 모델의 이론적 성질, 특히 밀도 추정에서의 사후 수축 속도를 연구한다.
• 이전에 유한하거나 가чёт한 무한한 혼합모형에 국한되었던 기존의 사후 수축 이론을 연속 혼합 측도로 확장한다.
• 관측되지 않는 U(0,1) 잠재변수와 가우시안 오차를 가진 비선형 잠재변수 모델의 클래스에 대해 최적의 사후 수축 속도를 확립한다.
• 이론적 분석을 뒷받침하기 위해 연속 혼합 측도에 대한 근사 결과를 개발한다.
• 비선형 회귀 함수에 가우시안 프로세스 사전분포를 적용할 경우 최적의 빈도주의 속도를 로그 인자까지 달성할 수 있음을 보여준다.

제안 방법

• 응답 변수를 잠재 U(0,1) 변수의 비선형 함수로 모델링하고, 추가로 가우시안 오차를 포함시켜 연속 혼합 측도와의 커널 컨볼루션을 형성한다.
• 유도된 밀도 공간을 커널과 연속 혼합 측도의 컨볼루션으로 특성화함으로써, 이전에 이산 혼합모형을 넘어서는 분석이 가능해진다.
• 모르는 회귀 함수에 가우시안 프로세스 사전분포를 적용하여 혼합 측도에 대한 사전분포를 유도하고 부드러움을 보장한다.
• 진짜 밀도와 추정된 밀도 사이의 거리를 제어하기 위해 연속 혼합 측도 클래스에 대한 근사 결과를 확립한다.
• 표준 정규성 조건 하에서, 엔트로피와 검정 기반 기법을 포함한 사후 수축 이론 기법을 적용한다.
• 가우시안 프로세스의 꼬리 확률과 엔트로피 적분 기법을 이용해 사후 집중도에 대한 경계를 유도한다.

실험 결과

연구 질문

• RQ1 연속 혼합 측도를 가진 비선형 잠재변수 모델에서 사후 분포가 진짜 밀도 주위로 수축하는 속도는 무엇인가?
• RQ2 이러한 모델의 사후 수축 속도가 로그 인자까지 최적의 빈도주의 속도에 도달할 수 있는가?
• RQ3 비선형 회귀 함수에 가우시안 프로세스 사전분포를 적용할 경우 이 비선형 잠재변수 프레임워크 내에서 사후 집중에 어떤 영향을 미치는가?
• RQ4 밀도 추정 맥락에서 연속 혼합 측도는 어떤 근사 성질을 갖는가?
• RQ5 유한하거나 무한한 이산 혼합모형에서 흔히 발생하는 군집화 아티팩트를 피하면서도 이론적 최적성을 유지할 수 있는가?

주요 결과

• 표준 부드러움 및 정규성 조건 하에서 사후 수축 속도가 로그 인자까지 최적의 빈도주의 속도에 도달한다.
• 비선형 회귀 함수에 가우시안 프로세스 사전분포를 적용함으로써 모델은 최적의 속도를 달성한다. 이 회귀 함수는 잠재 U(0,1) 변수를 관측된 반응값으로 매핑한다.
• 저자들은 연속 혼합 측도에 대한 새로운 근사 결과를 개발하여, 이전에 이산 혼합모형에 국한되었던 사후 수축 이론을 넘어서는 데 기여한다.
• 유한하거나 무한한 이산 혼합모형에서 흔히 발생하는 군집화 아티팩트를 피하기 위해 연속 잠재공간을 사용함으로써 방법이 이를 방지한다.
• 사후 집중도는 엔트로피 적분 및 꼬리 확률 기법을 통해 유도되었으며, 이로써 사후 분포가 원하는 속도로 수축함을 보여준다.
• 충분히 부드러운 진짜 밀도와 적절한 초모수 선택 조건 하에서, 사후 분포는 진짜 밀도 주위의 이웃 영역으로 최적의 속도(로그 인자까지)로 집중된다.