[논문 리뷰] Random Feature Stein Discrepancies

Jonathan H. Huggins, Lester Mackey|arXiv (Cornell University)|2018. 06. 20.

Adversarial Robustness in Machine Learning인용 수 26

한 줄 요약

이 논문은 표본이 목표 분포로 수렴하는 것을 증명 가능하게 결정하는 새로운 가측 스틸 불일치도인 특징 스틸 불일치도(ΦSDs)를 소개한다. 무작위 특징을 활용한 중요도 샘플링을 통해 저자들은 근사적으로 선형에 가까운 O(N^{1+γ}) 계산 시간을 달성하면서도 이차 시간 복잡도를 가지는 커널 스틸 불일치도(KSDs)와 유사한 정확도를 유지하는 무작위 ΦSDs(RΦSDs)를 개발한다. 이는 빠르고 확장 가능한 적합도 검정과 샘플러 선택을 가능하게 한다.

ABSTRACT

Computable Stein discrepancies have been deployed for a variety of applications, ranging from sampler selection in posterior inference to approximate Bayesian inference to goodness-of-fit testing. Existing convergence-determining Stein discrepancies admit strong theoretical guarantees but suffer from a computational cost that grows quadratically in the sample size. While linear-time Stein discrepancies have been proposed for goodness-of-fit testing, they exhibit avoidable degradations in testing power -- even when power is explicitly optimized. To address these shortcomings, we introduce feature Stein discrepancies ($Φ$SDs), a new family of quality measures that can be cheaply approximated using importance sampling. We show how to construct $Φ$SDs that provably determine the convergence of a sample to its target and develop high-accuracy approximations -- random $Φ$SDs (R$Φ$SDs) -- which are computable in near-linear time. In our experiments with sampler selection for approximate posterior inference and goodness-of-fit testing, R$Φ$SDs perform as well or better than quadratic-time KSDs while being orders of magnitude faster to compute.

연구 동기 및 목표

• 기존 스틸 불일치도의 높은 계산 비용(표본 크기와 함께 이차적으로 증가)을 해결하기 위해.
• 고차원에서 성능이 저하되는 선형 시간 대안(예: FSSD)의 검정력 저하 문제를 해결하기 위해.
• 이론적으로 타당하고 실용적으로 효율적인, 계산 가능한 수렴 결정 불일치도 측정법을 개발하기 위해.
• 근사적으로 선형 시간 근사치를 사용하여, 빠르고 확장 가능한 적합도 검정과 MCMC 샘플러 선택을 가능하게 하기 위해.

제안 방법

• 스티븐 연산자와 특징 맵을 기반으로 한 새로운 적분 확률 거리 측도로서 특징 스틸 불일치도(ΦSDs)를 제안한다.
• 유한한 수의 특징을 사용하여 표본이 목표 분포로 수렴하는 것을 보장하는 ΦSDs를 구성한다.
• 제안 분포를 사용한 중요도 샘플링을 통해 ΦSDs를 효율적으로 근사화하는 랜덤 ΦSDs(RΦSDs)를 도입한다.
• RΦSDs가 높은 확률로 O(N^{1+γ}) 시간 내에 O(N^{-1/2}) 정밀도 추정치를 달성함을 보여주는 이론적 경계를 수립한다.
• 독립 동일분포(i.i.d.) 샘플링 하에서 RΦSDs의 점근적 귀무분포를 유도하여 가설 검정에 활용한다.
• 계산 비용을 최소화하면서도 검정력을 극대화하기 위해 특징 선택을 최적화한다.

실험 결과

연구 질문

• RQ1 표본 수렴을 증명 가능하게 결정하면서도 계산 효율성을 유지할 수 있는 스틸 불일치도를 구성할 수 있는가?
• RQ2 스틸 불일치도의 선형 시간 근사치가 고차원 환경에서도 높은 통계적 검정력을 유지할 수 있는가?
• RQ3 무작위 특징을 활용한 중요도 샘플링이 이론적 보장을 갖는 정확하고 확장 가능한 스틸 불일치도 근사치를 제공할 수 있는가?
• RQ4 적합도 검정과 샘플러 선택에서 RΦSDs의 정확도와 속도는 이차 시간 복잡도를 가지는 KSDs와 비교해 어떻게 되는가?

주요 결과

• RΦSDs는 O(N^{1+γ}) 시간 내에 진짜 ΦSD의 O(N^{-1/2}) 정밀도 추정치를 달성하여 근사적으로 선형 계산을 가능하게 한다.
• 단지 열 개의 특징만으로도 RΦSDs가 샘플러 선택과 적합도 검정에서 이차 시간 복잡도를 가지는 KSDs와 동등하거나 뛰어난 성능을 보인다.
• RΦSDs는 고차원에서도 높은 검정력을 유지하며, 이전의 선형 시간 방법(FSSD 등)에서 관찰되는 성능 저하를 피한다.
• 이론적 분석을 통해 적절한 제안 분포 하에서 RΦSDs가 상대 오차 측면에서 진짜 ΦSD에 높은 확률로 가까이 있음을 확인한다.
• RΦSDs의 점근적 귀무분포가 도출되었으며, 이는 i.i.d. 샘플링 하의 귀무가설에 대한 유효한 가설 검정을 가능하게 한다.