[논문 리뷰] A Kernel Stein Test for Comparing Latent Variable Models

Heishiro Kanagawa, Wittawat Jitkrittum외 3명|arXiv (Cornell University)|2019. 07. 01.

Statistical Methods and Bayesian Inference참고 문헌 60인용 수 7

한 줄 요약

이 논문은 정규화 상수를 필요로 하지 않고 비모수적이고 샘플 기반의 모델 비교를 가능하게 하기 위해, 비가역적 주변 가능도를 가진 잠재변수 모델을 비교하기 위한 커널 스티븐 검정(LKSD)을 소개한다. 스티븐 방법과 커널화된 이질성의 조합을 통해 수행된다. 이 방법은 유의수준 제어가 잘 되어 있으며, 고차원, 저잠재차원 설정에서 상대적 MMD 검정보다 뛰어난 성능을 보인다.

ABSTRACT

We propose a kernel-based nonparametric test of relative goodness of fit, where the goal is to compare two models, both of which may have unobserved latent variables, such that the marginal distribution of the observed variables is intractable. The proposed test generalizes the recently proposed kernel Stein discrepancy (KSD) tests (Liu et al., 2016, Chwialkowski et al., 2016, Yang et al., 2018) to the case of latent variable models, a much more general class than the fully observed models treated previously. The new test, with a properly calibrated threshold, has a well-controlled type-I error. In the case of certain models with low-dimensional latent structure and high-dimensional observations, our test significantly outperforms the relative Maximum Mean Discrepancy test, which is based on samples from the models and does not exploit the latent structure.

연구 동기 및 목표

• 정규화 상수가 필요로 하지 않는 비모수적이고 샘플 기반의 잠재변수 모델 비교 검정을 개발하는 것.
• 완전히 관측된 모델에 대한 이전 연구를 일반화하여, 관측되지 않은 잠재변수를 가진 모델에 대해 커널 스티븐 이질성(KSD)을 확장하는 것.
• 검정 임계값의 적절한 校정을 통해 잘 제어된 제1종 오류 비율을 확보하는 것.
• 고차원, 저잠재차원 설정에서 잠재적 구조를 활용하여 기존 방법들(예: 상대적 MMD)보다 뛰어난 성능을 내는 것.
• 주변 밀도가 비가역적일 경우 로그우도비 검정의 실용적이고 계산 효율적인 대안을 제공하는 것.

제안 방법

• 정규화 상수를 계산할 필요 없이 모델에 특화된 스티븐 연산자를 구성함으로써 잠재변수 모델에 적응된 커널 스티븐 이질성(KSD)을 사용하는 방법.
• 두 경쟁 모델의 샘플과 기준 데이터 세트 사이의 이질성에 기반한 검정 통계량을 정의하며, 스티븐 변환된 재생 커널 힐버트 공간에서 유래한 워치맨 함수를 사용한다.
• 잭나이프, U-통계량, V-통계량의 세 가지 분산 추정기법을 평가하였으며, 잭나이프와 V-통계량이 더 뛰어난 내성과 제1종 오류 제어를 보였다.
• 점근 정규성을 근거로 한 임계값을 사용하여 검정 통계량을 校정함으로써 귀무가설 하에서 잘 제어된 제1종 오류를 확보한다.
• 진짜 모델 하에서 스티븐 연산자의 기대값이 0이 되는 사실을 활용하여, 이질성의 차이가 샘플에만 의존하는 항으로 줄어든다.
• 이 방법은 확률적 주성분 분석(PPCA)과 잠재 디리클레 분할(LDA) 모델에 적용되었으며, 다양한 편향 파라미터를 가진 시뮬레이션 데이터에서 성능을 입증하였다.

실험 결과

연구 질문

• RQ1 비가역적 주변분포를 가진 잠재변수 모델을 비교하기 위해 커널 스티븐 검정을 일반화할 수 있는가?
• RQ2 상대적 MMD와 같은 기존 방법과 비교해 볼 때, 제안된 LKSD 검정은 제1종 오류 제어 측면에서 어떻게 성능을 보이는가?
• RQ3 잭나이프, U-통계량, V-통계량 중 어떤 분산 추정기법이 실무에서 가장 신뢰할 수 있는 제1종 오류 제어를 제공하는가?
• RQ4 고차원 모델에서 잠재적 구조를 활용하면, 샘플 기반의 MMD 검정보다 통계적 검정력이 향상되는가?
• RQ5 비교하는 두 모델이 동일할 경우, 점근 정규성 가정이 위배되지만 검정의 행동은 어떻게 되는가?

주요 결과

• 잭나이프와 V-통계량 분산 추정기법을 사용한 LKSD 검정은 모델이 점점 더 유사해질수록 명목 유의수준 α=0.05에 가까운 제1종 오류 비율을 유지한다.
• U-통계량 분산 추정기법은 진짜 분산을 체계적으로 과소평가하여 제1종 오류 비율이 높아지며, 가끔 음수 값을 반환하여 저자들이 피하기를 권고한다.
• PPCA와 LDA 실험에서, 잠재적 구조가 저차원이고 관측값이 고차원일 경우 LKSD 검정은 상대적 MMD 검정보다 차이를 탐지하는 데 뚜렷이 뛰어난 성능을 보였다.
• 모델이 동일할 경우, 잭나이프와 V-통계량 LKSD 검정은 여전히 보수적인 성향을 보이며, α=0.05 이하의 수준에서 귀무가설을 기각하는 비율을 유지했다. 이는 이론적 가정이 위배되었음에도 불구하고 성립한다.
• 잠재적 구조를 활용할 경우, LKSD 검정은 귀무가설 및 대립가설 상황 모두에서 강건하고 신뢰할 수 있는 성능을 보였다.
• 제안된 방법은 주변 가능도 계산이 필요 없이 효과적이고 校정된 모델 비교를 가능하게 하여, 복잡한 잠재변수 모델에 적합하다.