[논문 리뷰] Kernelized Complete Conditional Stein Discrepancy

Raghav Singhal, Han, Xintian외 2명|arXiv (Cornell University)|2019. 04. 09.

Mathematical Approximation and Integration참고 문헌 30인용 수 5

한 줄 요약

이 논문은 고차원 분포 비교에서 통계적 검정력 향상을 위해 단변량 완전조건부 분포를 활용하는 새로운 불일치 측도인 커널화된 완전조건부 스틸 불일치(kcc-sd)를 제안한다. 완전조건부에서 유도된 단변량 검증 함수에 대해 별도의 Suprema를 계산함으로써 kcc-sd는 다변량 커널화된 스틸 불일치(ksd) 및 기준 방법보다 높은 통계적 검정력을 확보하며, 특히 상관관계가 있거나 꼬리가 두꺼운 분포를 포함한 고차원 설정에서 우수한 성능을 보인다.

ABSTRACT

Much of machine learning relies on comparing distributions with discrepancy measures. Stein's method creates discrepancy measures between two distributions that require only the unnormalized density of one and samples from the other. Stein discrepancies can be combined with kernels to define kernelized Stein discrepancies (KSDs). While kernels make Stein discrepancies tractable, they pose several challenges in high dimensions. We introduce kernelized complete conditional Stein discrepancies (KCC-SDs). Complete conditionals turn a multivariate distribution into multiple univariate distributions. We show that KCC-SDs distinguish distributions. To show the efficacy of KCC-SDs in distinguishing distributions, we introduce a goodness-of-fit test using KCC-SDs. We empirically show that KCC-SDs have higher power over baselines and use KCC-SDs to assess sample quality in Markov chain Monte Carlo.

연구 동기 및 목표

• 커널의 특성 상실로 인해 고차원 설정에서 커널화된 스틸 불일치(ksd)의 성능이 열 劣하는 문제를 해결하기 위해.
• 다변량 커널이 고차원에서 실패할 경우에도 분포를 구분할 수 있는 불일치 측도를 개발하기 위해.
• 간편하고 확장 가능한 불일치 측도를 사용하여 효과적인 적합도 검정 및 MCMC 수렴 평가를 가능하게 하기 위해.
• 완전조건부를 위한 학습된 샘플러를 사용하는 근사형 불일치 측도를 도입하여 실용적 구현을 가능하게 하기 위해.

제안 방법

• 다변량 분포를 단변량 완전조건부로 분해함으로써, 다변량 커널 대신 단변량 커널을 사용할 수 있도록 한다.
• 각 완전조건부에 대해 커널화된 스틸 불일치를 정의하고, 재생 커널 힐버트 공간(RKHS) 내의 검증 함수에 대해 별도의 Suprema를 계산한다.
• 완전조건부 불일치는 단변량 조건부 밀도에 커널화된 연산자를 적용한 스틸의 방법을 사용하여 구성된다.
• kcc-sd에 대한 닫힌 형태의 표현식을 유도하여 전체 조건부에서의 명시적 샘플링 없이도 효율적인 계산을 가능하게 한다.
• 완전조건부의 조건부 밀도 추정기(예: 정규화 플로우)를 사용하여 완전조건부에서 샘플링하는 학습된 방법을 사용하는 근사형 kcc-sd를 도입한다.
• 기존의 적합도 검정 프레임워크와 통합되며, kcc-sd를 검정 통계량으로 사용하여 분포 불일치를 탐지한다.

실험 결과

연구 질문

• RQ1 단변량 완전조건부를 기반으로 한 불일치 측도가 다변량 커널화된 스틸 불일치보다 고차원 분포 비교에서 더 우수한 성능을 보일 수 있는가?
• RQ2 kcc-sd가 p ≡ q일 때에만 0의 불일치를 가지는가?
• RQ3 ksd 및 fssd가 성능이 저하되는 고차원 설정에서도 kcc-sd가 높은 통계적 검정력을 유지할 수 있는가?
• RQ4 완전조건부를 위한 학습된 샘플러를 사용하는 근사형 kcc-sd가 성능을 유지할 수 있는가?
• RQ5 kcc-sd는 깁스 샘플러 및 편향이 있는 MCMC 샘플러에서 수렴 문제를 효과적으로 탐지할 수 있는가?

주요 결과

• 다변량 정규분포와 라플라스-기울인 분포를 비교하는 고차원 적합도 검정(d=100)에서 kcc-sd는 검정력 1을 유지하지만, ksd 및 fssd는 검정력이 감소함.
• 1000개의 샘플로도 kcc-sd는 ksd, rΦsd, fssd-opt보다 더 낮은 샘플 수에서 검정력 1을 달성하여 더 높은 통계적 효율성을 보임.
• 라플라스 노이즈가 첨가된 상관관계가 있는 가우시안 모델에서 kcc-sd는 차원이 증가함에 따라 검정력 1을 유지하지만, 기준 방법들은 검정력을 상실함.
• 근사형 kcc-sd 변형은 고차원에서도 정확한 kcc-sd와 비교해 유의미한 검정력 손실가 없이 성능을 유지하여 실용성의 타당성을 입증함.
• kcc-sd는 메트로폴리스-위너-깁스 샘플러의 편향을 탐지함: 수렴 확률의 편향 항의 크기가 증가함에 따라 kcc-sd 값이 단조적으로 증가함.
• kcc-sd는 베이지안 행렬 분해에 대한 깁스 샘플러에서 수렴 문제를 효과적으로 식별함. 높은 값은 악화된 믹싱 또는 편향을 나타냄.