[논문 리뷰] A Kernelized Stein Discrepancy for Goodness-of-fit Tests and Model Evaluation

Qiang Liu, Jason D. Lee외 1명|arXiv (Cornell University)|2016. 02. 10.

Statistical Distribution Estimation and Applications참고 문헌 30인용 수 14

한 줄 요약

이 논문은 정규화 상수가 추정이 불가능한 복잡한 고차원 모델에서 가능도 기반 적합도 검정을 위한 커널화된 스티븐 비산도(KSD)를 제안한다. 스티븐의 항등식과 재생 힐버트 공간(RKHS) 이론을 조합함으로써, 가능도 평가 없이도 점근적으로 효율적인 U-통계량 기반의 비산도 추정이 가능해지며, 이는 가능도 평가 없이도 강력하고 계산적으로 타당한 검정을 가능하게 한다.

ABSTRACT

We derive a new discrepancy statistic for measuring differences between two probability distributions based on combining Stein's identity with the reproducing kernel Hilbert space theory. We apply our result to test how well a probabilistic model fits a set of observations, and derive a new class of powerful goodness-of-fit tests that are widely applicable for complex and high dimensional distributions, even for those with computationally intractable normalization constants. Both theoretical and empirical properties of our methods are studied thoroughly.

연구 동기 및 목표

• 가능도 평가가 불가능한 경우에도 계산적으로 타당한 비산도 측정법을 개발하는 것.
• 딥 생성 모델 및 그래픽 모델과 같은 고차원 복잡한 확률 모델에서의 모델 평가를 가능하게 하는 것.
• 가능도 또는 누적분포함수(CDF) 비교에 의존하지 않는 校정된 통계적 유의성의 검정을 제공하는 것.
• 비산도가 정규화 상수에 의존하지 않고 오직 스코어 함수에만 의존하도록 보장하는 것.
• 기존의 카이제곱 또는 콜모고로프-스미르노프 검정과 같은 전통적 검정의 일반적이고 확장 가능한 대안을 제공하는 것.

제안 방법

• 시험 함수의 정의역을 RKHS 볼로 제한함으로써, 계산이 가능해지는 커널화된 스티븐 비산도(KSD)를 제안한다.
• 독립 동일분포 표본에 대한 기대값으로서의 비산도의 명시적 표현을 유도한다: $\hat{\mathbb{S}}(p,q) = \frac{1}{n(n-1)}\sum_{i \neq j} u_q(x_i, x_j)$, 여기서 $u_q$는 오직 스코어 함수 $\nabla_x \log q(x)$에만 의존한다.
• U-통계량을 사용하여 비산도를 추정함으로써, 표본 분포가 잘 알려져 있고 타당한 가설 검정이 가능해진다.
• 정규화 상수 의존성 없이도 적용 가능한 스코어 함수 $\mathbf{s}_q = \nabla_x \log q(x)$를 사용한다.
• U-통계량의 점근 이론을 활용하여 $H_0: p = q$ 를 검정하기 위해 $\mathbb{E}_p[u_q(x,x')] = 0$ 인지 여부를 검증한다.
• 복잡도의 트레이드오���을 고려하여 KSD-linear($O(n)$ 복잡도) 및 KSD-U(높은 검정력)와 같은 변형을 제안한다.

실험 결과

연구 질문

• RQ1 가능도 평가가 불가능한 고차원 비정규화 모델에 대해 계산적으로 타당하고 강력한 비산도 측정법을 구성할 수 있는가?
• RQ2 정규화 상수 없이도 스코어 함수만으로도 효과적인 적합도 검정이 가능한가?
• RQ3 가능도 평가가 불가능한 상황에서 제안된 KSD 기반 검정이 MMD나 가능도 비율 검정보다 검정력이 뛰어나게 되는가?
• RQ4 가능도 계산이 계산적으로 불가능한 상황에서도 통계적 유의성과 검정력을 유지할 수 있는가?
• RQ5 기존의 MMD나 MCMC 기반 근사 방법과 비교해 볼 때 KSD의 이론적 및 실증적 성능은 어떠한가?

주요 결과

• KSD-U는 MMD-MC(1000) 및 MMD-MCMC보다 고차원 가우시안-베르누이 RBM에서의 편향을 더 잘 감지한다. 특히 MCMC 표본이 대표성이 없을 경우에 유의미한 성능 향상을 보인다.
• KSD-linear는 KSD-U보다 성능이 열 劣하지만 $O(n)$ 복잡도를 제공하므로 대규모 모델에 유용하다.
• 오라클 가능도 비율 검정이 가장 높은 검정력을 보였으며, 이는 KSD-U가 전체 가능도를 사용하지 않음에도 불구하고 경쟁력이 있음을 확인한다.
• MMD-MCMC는 RBM 실험에서 $p=q$ 와 $p \neq q$ 를 구분하지 못했으며, 정확도가 떨어지는 MCMC 표본을 사용할 경우 성능이 열 劣함을 보였다.
• 귀무가설 하에서의 비산도($p=q$)는 대안가설($p \neq q$) 하에서의 비산도보다 항상 낮게 나타나, 모델의 부적합성을 탐지할 수 있음을 검증하였다.
• U-통계량 이론을 통해 타당한 가설 검정이 가능하며, $\hat{\mathbb{S}}(p,q)$ 의 표본 분포가 잘 특성화되어 있음을 확인하였다.